DE112017005123B4

DE112017005123B4 - Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, der durch rechteckige Projektionsflächen repräsentiert wird, die in einer Viewport-basierten Würfelprojektionsanordnung gepackt sind

Info

Publication number: DE112017005123B4
Application number: DE112017005123.1T
Authority: DE
Inventors: Hung-Chih Lin; Chia-Ying Li; Le Shi; Ya-Hsuan Lee; Jian-Liang Lin; Shen-Kai Chang
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2016-12-14
Filing date: 2017-12-11
Publication date: 2020-09-10
Anticipated expiration: 2037-12-12
Also published as: WO2018108046A1; GB2571638A; GB201903991D0; BR112019007282A2; CN109845270B; TW201828706A; TWI656788B; GB2571638B; DE112017005123T5; CN109845270A

Abstract

Videoverarbeitungsverfahren, aufweisend:Empfangen eines Rundum-Bild-/Video-Inhalts, der zu einer Kugelansicht korrespondiert;Generieren eines projektionsbasierten Rahmens gemäß dem Rundum-Bild-/VideoInhalt und einer Viewport-basierten Würfelprojektionsanordnung durch Abbilden des Rundum-Bild-/Video-Inhalts der Kugelansicht auf quadratische Projektionsflächen über eine Würfelabbildungsprojektion der Kugelansicht, wobei der projektionsbasierte Rahmen einen 360-Grad-Bild-/Video-Inhalt aufweist, der durch rechteckige Projektionsflächen repräsentiert wird, die in der Viewport-basierten Würfelprojektionsanordnung gepackt sind, und die rechteckigen Projektionsflächen eine erste rechteckige Projektionsfläche, eine zweite rechteckige Projektionsfläche, eine dritte rechteckige Projektionsfläche, eine vierte rechteckige Projektionsfläche, eine fünfte rechteckige Projektionsfläche und eine sechste rechteckige Projektionsfläche aufweisen; undCodieren des projektionsbasierten Rahmens durch einen Video-Codierer, um einen Teil eines Bitstroms zu generieren; dadurch gekennzeichnet, dassdie sechste rechteckige Projektionsfläche in rechteckige Teilprojektionsflächen unterteilt ist, und die erste rechteckige Projektionsfläche zu einem Anwender-Viewport korrespondiert und durch einen umgebenden Bereich eingeschlossen ist, der aus der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und den rechteckigen Teilprojektionsflächen zusammengesetzt ist; wobei das Generieren des projektionsbasierten Rahmens gemäß dem Rundum-Bild-/Video-Inhalt und der Viewport-basierten Würfelprojektionsanordnung aufweist:Erhalten der ersten rechteckigen Projektionsfläche, der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche jeweils von den quadratischen Projektionsflächen, wobei jede der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche durch ein Herunterskalieren einer korrespondierenden quadratischen Projektionsfläche erhalten wird.

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten von Rundum-Bild-/Video-Inhalten und genauer auf ein Verfahren und eine Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit einem 360-Grad-Inhalt (z. B. 360-Grad-Bildinhalt oder 360-Grad-Videoinhalt), der durch rechteckige Projektionsflächen repräsentiert wird, die in einer kompakten Viewport-basierten Würfelprojektionsanordnung gepackt sind. Noch genauer bezieht sich die vorliegende Erfindung auf ein Videoverarbeitungsverfahren gemäß dem Oberbegriff des unabhängigen Anspruchs 1 und eine Videoverarbeitungsvorrichtung gemäß dem Oberbegriff des unabhängigen Anspruchs 10. Ein solches Verfahren und eine solche Vorrichtung sind in der Druckschrift CN 106 162 139 A beschrieben.
Hintergrund der Erfindung
Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) hängt zusammen mit einer Vielfalt von Anwendungen. Die Möglichkeit, einem Anwender ein weites Feld von Ansichtsinhalten zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bild-/Video-Inhalt führt, der zu einer Kugelansicht führt. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung von VR-Inhalten aufgrund der hohen Bitrate, die zum Repräsentieren solch eines 360-Grad-Bild-/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Datenkompression/-Codierung kritisch für eine Bitratenreduktion.
Zusammenfassung der Erfindung
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren und eine Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit einem 360-Grad-Inhalt (z. B. 360-Grad-Bildinhalt oder 360-Grad-Videoinhalt), der durch rechteckige Projektionsflächen repräsentiert wird, die in einer kompakten Viewport-basierten Würfelprojektionsanordnung gepackt sind, bereitzustellen. Mit einer geeigneten Auslegung der Viewport-basierten Würfelprojektionsanordnung kann der projektionsbasierte Rahmen eine kompakte Form aufweisen, und/oder der Bildinhalt des Anwender-Viewports (d. h. ein Viewport-Bereich) kann in einer Hauptprojektionsfläche (z. B. einer zentralen rechteckigen Projektionsfläche) bewahrt werden.
Die Lösung dieser Aufgabe erfolgt durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Gemäß einem ersten Aspekt wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren weist auf: Empfangen eines Rundum-Bild-/Video-Inhalts, der zu einer Kugelansicht korrespondiert, Generieren einer Folge von projektionsbasierten Rahmen gemäß dem Rundum-Bild-/Video-Inhalt und einer Viewport-basierten Würfelprojektionsanordnung, und Codieren der Folge von projektionsbasierten Rahmen durch einen Video-Codierer, um einen Bitstrom zu generieren. Jeder projektionsbasierte Rahmen weist einen 360-Grad-Bild-/Video-Inhalt auf, der durch rechteckige Projektionsflächen repräsentiert wird, die in der Viewport-basierten Würfelprojektionsanordnung gepackt sind. Die Viewport-basierte Würfelprojektionsanordnung weist eine erste rechteckige Projektionsfläche, eine zweite rechteckige Projektionsfläche, eine dritte rechteckige Projektionsfläche, eine vierte rechteckige Projektionsfläche, eine fünfte rechteckige Projektionsfläche und eine sechste rechteckige Projektionsfläche, welche in rechteckige Teilprojektionsflächen (z. B. vier rechteckige Teilprojektionsflächen) unterteilt ist, auf. Die erste rechteckige Projektionsfläche korrespondiert zu einem Anwender-Viewport und ist durch einen umgebenden Bereich eingeschlossen, der aus der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und den rechteckigen Teilprojektionsflächen (z. B. vier rechteckige Teilprojektionsflächen) zusammengesetzt ist.
Gemäß einem zweiten Aspekt wird eine beispielhafte Videoverarbeitungsvorrichtung offenbart. Die beispielhafte Videoverarbeitungsvorrichtung weist eine Konvertierungsschaltung und einen Video-Codierer auf. Die Konvertierungsschaltung ist eingerichtet, einen Rundum-Bild-/Video-Inhalt zu empfangen, der zu einer Kugelansicht korrespondiert, und eine Folge von projektionsbasierten Rahmen gemäß dem Rundum-Bild-/Video-Inhalt und einer Viewport-basierten Würfelprojektionsanordnung zu generieren, wobei jeder projektionsbasierte Rahmen einen 360-Grad-Bild-/Video-Inhalt aufweist, der durch rechteckige Projektionsflächen repräsentiert wird, die in der Viewport-basierten Würfelprojektionsanordnung gepackt sind. Die Viewport-basierte Würfelprojektionsanordnung weist eine erste rechteckige Projektionsfläche, eine zweite rechteckige Projektionsfläche, eine dritte rechteckige Projektionsfläche, eine vierte rechteckige Projektionsfläche, eine fünfte rechteckige Projektionsfläche und eine sechste rechteckige Projektionsfläche, welche in rechteckige Teilprojektionsflächen (z. B. vier rechteckige Teilprojektionsflächen) unterteilt ist, auf. Die erste rechteckige Projektionsfläche korrespondiert zu einem Anwender-Viewport und ist durch einen umgebenden Bereich eingeschlossen, der aus der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und den rechteckigen Teilprojektionsflächen (z. B. vier rechteckige Teilprojektionsflächen) zusammengesetzt ist. Der Video-Codierer ist eingerichtet, den projektionsbasierten Rahmen zu codieren, um einen Teil eines Bitstroms zu generieren.
Diese und andere Aufgaben der vorliegenden Erfindung werden ohne Zweifel für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach dem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist, offenbar.
Figurenliste

1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das sechs quadratische Projektionsflächen einer Würfelabbildungsprojektionsanordnung darstellt, die von einer Würfelprojektion einer Kugelansicht erhalten wird.
3 ist ein Diagramm, das eine erste vorgeschlagene Viewport-basierte Würfelprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist ein Diagramm, das ein Beispiel eines Herunterskalierens einer quadratischen Projektionsfläche durch eine einheitliche Abbildung darstellt.
5 ist ein Diagramm, das eine Kurve einer einheitlichen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
6 ist ein Diagramm, das ein Beispiel eines Herunterskalierens einer quadratischen Projektionsfläche durch eine uneinheitliche Abbildung darstellt.
7 ist ein Diagramm, das eine Kurve einer uneinheitlichen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
8 ist ein Diagramm, das eine zweite vorgeschlagene Viewport-basierte Würfelprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.

Detaillierte Beschreibung
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden in der nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Elektronikausrüstungshersteller eine Komponente mit verschiedenen Namen bezeichnen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, welche sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet und sollten somit so interpretiert werden, dass sie „einschließen, aber nicht limitiert sein auf ... “ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Videoverarbeitungsvorrichtungen (z. B. eine elektronische Quellenvorrichtung 102 und eine elektronische Zielvorrichtung 104) auf. Die elektronische Quellenvorrichtung 102 weist eine Videoaufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Zum Beispiel kann die Videoaufnahmevorrichtung 112 ein Satz von Kameras sein, der verwendet wird, um einen Rundum-Bild-/Video-Inhalt (z. B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN, der zu einer Kugelansicht korrespondiert, bereitzustellen. Die Konvertierungsschaltung 114 ist zwischen der Videoaufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gemäß dem Rundum-Bild-/Video-Inhalt S_IN. Zum Beispiel kann der projektionsbasierte Rahmen IMG ein Rahmen sein, der in einer Folge von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungs-Schaltung, die verwendet wird, um den projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren, und gibt den Bitstrom BS über eine Übertragungseinrichtung 103 an die elektronische Zielvorrichtung 104 aus. Zum Beispiel kann die Folge von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
Die elektronische Zielvorrichtung 104 kann eine am Kopf montierte Anzeige- (HMD-) Vorrichtung sein. Wie in 1 gezeigt, weist die elektronische Zielvorrichtung 104 einen Video-Decodierer 122, eine Graphikwiedergabeschaltung 124 und einen Anzeigeschirm 126 auf. Der Video-Decodierer 122 ist eine Decodierungs-Schaltung, die verwendet wird, um den Bitstrom BS von der Übertragungseinrichtung 103 (z. B. eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium) zu empfangen und den empfangenen Bitstrom BS zu decodieren, um einen decodierten Rahmen IMG' zu generieren. Zum Beispiel generiert der Video-Decodierer 122 eine Folge von decodierten Rahmen durch Decodieren des empfangenen Bitstroms BS, wobei der decodierte Rahmen IMG' ein Rahmen ist, der in der Folge von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der durch den Video-Codierer 116 zu codierende projektionsbasierte Rahmen IMG ein 360-VR-Projektionsformat mit einer Projektionsanordnung auf. Daher weist der decodierte Rahmen IMG', nachdem der Bitstrom BS durch den Video-Decodierer 122 decodiert ist, das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung auf. Die Graphikwiedergabeschaltung 124 ist zwischen dem Video-Decodierer 122 und dem Anzeigeschirm 126 angeschlossen. Die Graphikwiedergabeschaltung 124 rendert und zeigt Ausgabebilddaten auf dem Anzeigeschirm 126 gemäß dem decodierten Rahmen IMG'. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild-/Video-Inhalts gehört, der durch den decodierten Rahmen IMG' übertragen wird, über die Graphikwiedergabeschaltung 124 auf dem Anzeigeschirm 126 angezeigt werden.
Die vorliegende Erfindung schlägt eine innovative, Viewport-basierte Würfelprojektionsanordnung vor, welche eine kompakte Form aufweist und/oder den Bild-/Video-Inhalt des Anwender-Viewports in einer Hauptprojektionsfläche (z. B. eine zentrale rechteckige Projektionsfläche) bewahren kann. Wie vorstehen erwähnt, generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung und dem Rundum-Bild-/Video-Inhalt S_IN. In dieser Ausführungsform ist die vorstehend genannte 360-VR-Projektionsanordnung eine Viewport-basierte Würfelprojektionsanordnung L_VCP durch Packen von sechs rechteckigen Projektionsflächen. Insbesondere weist der projektionsbasierte Rahmen IMG einen 360-Grad-Bild-/Video-Inhalt auf, der durch sechs rechteckige Projektionsflächen repräsentiert wird, die in der vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung L_VCP gepackt sind. Weitere Details der vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung L_VCP werden nachfolgend bereitgestellt.
Es sollte beachtet werden, dass ein Rechteck ein Vierseiter ist, wobei alle vier Winkel rechte Winkel sind, und ein Quadrat ein Vierseiter ist, wobei alle vier Winkel rechte Winkel sind und alle vier Seiten die gleiche Länge aufweisen. Daher ist ein Quadrat eine spezielle Form eines Rechtecks. Eine Form einer nachfolgend genannten rechteckigen Projektionsfläche kann ein Rechteck oder ein Quadrat sein, abhängig von einer Position der rechteckigen Projektionsfläche in einer vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung.
2 ist ein Diagramm, das sechs quadratische Projektionsflächen einer Würfelabbildungsprojektions- (CMP-) Anordnung darstellt, die von einer Würfelprojektion einer Kugelansicht erhalten werden. Ein Rundum-Bild-/Video-Inhalt einer Kugelansicht 202 wird auf sechs quadratische Projektionsflächen (gekennzeichnet durch „Left“ (= links), „Front“ (= vorne), „Right“ (= rechts), „Back“ (= hinten), „Top“ (= oben) und „Bottom“ (= unten)) eines Würfels 204 abgebildet. Wie in 2 gezeigt, sind die quadratischen Projektionsflächen „Left“, „Front“, „Right“, „Back“, „Top“ und „Bottom“ in einer CMP-Anordnung 206 angeordnet.
Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die CMP-Anordnung 206 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, muss der projektionsbasierte Rahmen IMG mit Füllbereichen (z. B. schwarze Bereiche oder weiße Bereiche) aufgefüllt werden, um einen Rechteckrahmen zum Codieren zu bilden. Somit besteht eine Notwendigkeit für eine kompakte Projektionsanordnung, welche Füllbereiche (z. B. schwarze Bereiche oder weiße Bereiche) eliminieren kann, um die Codierungs-Effizienz zu verbessern. Die vorliegende Erfindung schlägt deshalb eine Viewport-basierte Würfelprojektionsanordnungsauslegung vor, welche eine kompakte Form aufweist und den Bild-/Video-Inhalt des Anwender-Viewports (d. h. einen Viewport-Bereich) in einer Hauptprojektionsfläche (z. B. eine zentrale rechteckige Projektionsfläche) bewahren kann.
3 ist ein Diagramm, das eine erste vorgeschlagene Viewport-basierte Würfelprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die erste vorgeschlagene Viewport-basierte Würfelprojektionsanordnung 302 kann von der CMP-Anordnung 206 mit einer Projektionsflächen-Herunterskalierung erhalten werden. Wie in dem oberen Teil von 3 gezeigt, ist die Breite jeder quadratischen Projektionsfläche W und die Höhe jeder quadratischen Projektionsfläche ist H (H=W). Wie in dem mittleren Teil von 3 gezeigt, wird eine rechteckige Projektionsfläche „T“ durch Herunterskalieren der quadratischen Projektionsfläche „Top“ in ihrer Höhenrichtung mit einem ersten vordefinierten Herunterskalierungsfaktor s (s=H/h) erhalten, eine rechteckige Projektionsfläche „L“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Left“ in ihrer Breitenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor s (s=W/w) erhalten, eine rechteckige Projektionsfläche „B“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Bottom“ in ihrer Höhenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor s erhalten, und eine rechteckige Projektionsfläche „R“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Right“ in ihrer Breitenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor s erhalten. Zusätzlich wird eine rechteckige Projektionsfläche „BK“ durch Herunterskalieren der quadratischen Projektionsfläche „Back“ in ihrer Breitenrichtung mit einem zweiten vordefinierten Herunterskalierungsfaktor t (t=0,5*s) und Herunterskalieren der quadratischen Projektionsfläche „Back“ in ihrer Höhenrichtung mit dem zweiten vordefinierten Herunterskalierungsfaktor t erhalten. In dieser Ausführungsform ist die rechteckige Projektionsfläche „BK“ gleichmäßig in vier rechteckige Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ unterteilt, von denen jede eine Breite w und eine Höhe (h=w) aufweist. Es sollte beachtet werden, dass die rechteckige Projektionsfläche „BK“ auch eine quadratische Projektionsfläche ist, sodass eine Form jeder der rechteckigen Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ auch ein Quadrat ist. Weiter korrespondiert die quadratische Projektionsfläche „Front“ in der CMP-Anordnung 206 zu einem Anwender-Viewport und wird direkt als eine rechteckige Projektionsfläche „F“ verwendet, die von der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 benötigt wird. Daher ist eine Form der rechteckigen Projektionsfläche „F“ ein Quadrat mit einer Breite W und einer Höhe H (H=W).
Die rechteckigen Projektionsflächen „F“, „T“, „L“, „B“ und „R“ und die vier rechteckigen Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ sind in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 gepackt. Wie in dem unteren Teil von 3 gezeigt, korrespondiert die rechteckige Projektionsfläche „F“ zu dem Anwender-Viewport und ist durch einen umgebenden Bereich eingeschlossen, der aus den rechteckigen Projektionsflächen „T“, „L“, „B“ und „R“ und den vier rechteckigen Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ zusammengesetzt ist. Genauer ist eine Seite S21 der rechteckigen Projektionsfläche „T“ mit einer Seite S11 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S22 der rechteckigen Projektionsfläche „T“ ist mit einer Seite S601 der rechteckigen Teilprojektionsfläche „B0“ verbunden, eine Seite S23 der rechteckigen Projektionsfläche „T“ ist mit einer Seite S611 der rechteckigen Teilprojektionsfläche „B1“ verbunden, eine Seite S31 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S12 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S32 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S621 der rechteckigen Teilprojektionsfläche „B2“ verbunden, eine Seite S33 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S602 der rechteckigen Teilprojektionsfläche „B0“ verbunden, eine Seite S41 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S13 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S42 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S631 der rechteckigen Teilprojektionsfläche „B3“ verbunden, eine Seite S43 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S622 der rechteckigen Teilprojektionsfläche „B2“ verbunden, eine Seite S51 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S14 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S52 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S612 der rechteckigen Teilprojektionsfläche „B1“ verbunden, und eine Seite S53 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S632 der rechteckigen Teilprojektionsfläche „B3“ verbunden.
Da die rechteckige Projektionsfläche „T“ eine herunterskalierte Version der quadratischen Projektionsfläche „Top“ ist, welche angrenzend an die quadratische Projektionsfläche „Front“ liegt, gibt es eine Bildkontinuitätsgrenze zwischen der Seite S21 der rechteckigen Projektionsfläche „T“ und der Seite S11 der rechteckigen Projektionsfläche „F“. Da die rechteckige Projektionsfläche „L“ eine herunterskalierte Version der quadratischen Projektionsfläche „Left“ ist, welche angrenzend an die quadratische Projektionsfläche „Front“ liegt, gibt es eine Bildkontinuitätsgrenze zwischen der Seite S31 der rechteckigen Projektionsfläche „L“ und der Seite S12 der rechteckigen Projektionsfläche „F“. Da die rechteckige Projektionsfläche „B“ eine herunterskalierte Version der quadratischen Projektionsfläche „Bottom“ ist, welche angrenzend an die quadratische Projektionsfläche „Front“ liegt, gibt es eine Bildkontinuitätsgrenze zwischen der Seite S41 der rechteckigen Projektionsfläche „B“ und der Seite S13 der rechteckigen Projektionsfläche „B“. Da die rechteckige Projektionsfläche „R“ eine herunterskalierte Version der quadratischen Projektionsfläche „Right“ ist, welche angrenzend an die quadratische Projektionsfläche „Front“ liegt, gibt es eine Bildkontinuitätsgrenze zwischen der Seite S51 der rechteckigen Projektionsfläche „R“ und der Seite S14 der rechteckigen Projektionsfläche „F“.
Die rechteckige Projektionsfläche „BK“ ist eine herunterskalierte Version der quadratischen Projektionsfläche „Back“ des Würfels 204, welche sich gegenüber der quadratischen Projektionsfläche „Front“ des Würfels 204 befindet. Um eine Form der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 so zu gestalten, dass sie ein Rechteck (insbesondere ein Quadrat) ist, wird die rechteckige Projektionsfläche „BK“ gleichmäßig in vier rechteckige Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ unterteilt, und die rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ befinden sich an vier Ecken der ersten vorgeschlagenen, Viewport-basierten Würfelprojektionsanordnung 302. Daher gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S601 der rechteckigen Teilprojektionsfläche „B0“ und der Seite S22 der rechteckigen Projektionsfläche „T“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S602 der rechteckigen Teilprojektionsfläche „B0“ und der Seite S33 der rechteckigen Projektionsfläche „L“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S621 der rechteckigen Teilprojektionsfläche „B2“ und der Seite S32 der rechteckigen Projektionsfläche „L“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S622 der rechteckigen Teilprojektionsfläche „B2“ und der Seite S43 der rechteckigen Projektionsfläche „B“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S631 der rechteckigen Teilprojektionsfläche „B3“ und der Seite S42 der rechteckigen Projektionsfläche „B“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S632 der rechteckigen Teilprojektionsfläche „B3“ und der Seite S53 der rechteckigen Projektionsfläche „R“, gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S611 der rechteckigen Teilprojektionsfläche „B1“ und der Seite S23 der rechteckigen Projektionsfläche „T“ und gibt es eine Bildinhalt-Diskontinuitätsgrenze zwischen der Seite S612 der rechteckigen Teilprojektionsfläche „B1“ und der Seite S52 der rechteckigen Projektionsfläche „R“.
Es sollte beachtet werden, dass die Anordnung der vier rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“, die sich an vier Ecken der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 befinden, nur darstellenden Zwecken dient, und nicht gedacht ist, eine Einschränkung der vorliegenden Erfindung zu sein. In einer alternativen Anordnung kann die Positionsfolge der rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ abhängig von den tatsächlichen Anordnungsgesichtspunkten verändert sein. Das heißt, die rechteckige Teilprojektionsfläche „B0“ befindet sich nicht notwendigerweise an der oberen linken Ecke der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302, die rechteckige Teilprojektionsfläche „B1“ befindet sich nicht notwendigerweise an der oberen rechten Ecke der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302, die rechteckige Teilprojektionsfläche „B2“ befindet sich nicht notwendigerweise an der unteren linken Ecke der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302, und/oder die rechteckige Teilprojektionsfläche „B3“ befindet sich nicht notwendigerweise an der unteren rechten Ecke der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302.
In einer anderen alternativen Anordnung kann die Orientierung einer oder mehrerer der rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ abhängig von den tatsächlichen Anordnungsgesichtspunkten angepasst sein. Das heißt, die rechteckige Teilprojektionsfläche „B0“ kann um 90°/180°/270° rotiert werden, wenn sie in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 gepackt ist, die rechteckige Teilprojektionsfläche „B1“ kann um 90°/180°/270° rotiert werden, wenn sie in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 gepackt ist, die rechteckige Teilprojektionsfläche „B2“ kann um 90°/180°/270° rotiert werden, wenn sie in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 gepackt ist, und/oder die rechteckige Teilprojektionsfläche „B3“ kann um 90°/180°/270° rotiert werden, wenn sie in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 gepackt ist.
Wie vorstehend erwähnt, wird jede der rechteckigen Projektionsflächen „T“, „L“, „B“, „R“ und „BK“ durch ein Herunterskalieren einer korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ erhalten. In einigen Ausführungsformen der vorliegenden Erfindung kann das Herunterskalieren der korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ durch erneutes Abtasten der korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ durch einheitliches Abbilden erzielt werden. Es sei auf 4 in Verbindung mit 5 verwiesen. 4 ist ein Diagramm, das ein Beispiel eines Herunterskalierens einer quadratischen Projektionsfläche durch einheitliches Abbilden darstellt. 5 ist ein Diagramm, das eine Kurve einer einheitlichen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche 404 durch Herunterskalieren einer quadratischen Projektionsfläche 402 in ihrer Höhenrichtung erhalten, wobei die quadratische Projektionsfläche 402 eine Breite W und eine Höhe H (H=W) aufweist, und die rechteckige Projektionsfläche 404 eine Breite W und eine Höhe h (h<H) aufweist. Als ein Beispiel, aber nicht als Einschränkung, kann die einheitliche Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden. $y' = \frac{h}{H} * Y$
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der rechteckigen Projektionsfläche 402 befindet, von der in Formel (1) ausgedrückten einheitlichen Abbildungsfunktion bestimmt werden. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird durch Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 erhalten. Aufgrund der einheitlichen Abbildung in der Höhenrichtung werden zwei vertikal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 402 mit einem konstanten Abstand D gleichmäßig verteilt.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 nicht eine ganzzahlige Position ist. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf die ganzzahligen Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
In einem anderen Fall wird die rechteckige Projektionsfläche 404 durch ein Herunterskalieren der quadratischen Projektionsfläche 402 in ihre Breitenrichtung erhalten. Die einheitliche Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden. $x' = \frac{h}{H} * X$
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, durch die in Formel (2) ausgedrückte einheitliche Abbildungsfunktion bestimmt werden. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird unter Verwendung des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 erhalten. Aufgrund der einheitlichen Abbildung in der Breitenrichtung werden zwei horizontal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 402 mit einem konstanten Abstand gleichmäßig verteilt.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 nicht eine ganzzahlige Position ist. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf die ganzzahligen Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
In noch einem anderen Fall wird die rechteckige Projektionsfläche 404 von einem Herunterskalieren der quadratischen Projektionsfläche 402 in ihrer Höhenrichtung und Breitenrichtung erhalten. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402 befindet, durch die in Formel (1) ausgedrückte einheitliche Abbildungsfunktion bestimmt werden. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, durch die in Formel (2) ausgedrückte einheitliche Abbildungsfunktion bestimmt werden. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird unter Verwendung des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 erhalten. Aufgrund der einheitlichen Abbildung in beiden der Höhenrichtung und der Breitenrichtung werden die Abtastpunkte in der rechteckigen Projektionsfläche 402 gleichmäßig verteilt.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 nicht eine ganzzahlige Position ist. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
Um mehr Details nahe der Hauptprojektionsfläche (z. B. die zentrale rechteckige Projektionsfläche „F“, welche zu dem Anwender-Viewport korrespondiert) zu bewahren, schlägt die vorliegende Erfindung weiter ein erneutes Abtasten der korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ durch eine uneinheitliche Abbildung vor. Es sei auf 6 in Verbindung mit 7 verwiesen. 6 ist ein Diagramm, das ein Beispiel eines Herunterskalierens einer quadratischen Projektionsfläche durch eine uneinheitliche Abbildung darstellt. 7 ist ein Diagramm, das eine Kurve einer uneinheitlichen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche 604 von einem Herunterskalieren einer quadratischen Projektionsfläche 602 in ihrer Höhenrichtung erhalten, wobei die quadratische Projektionsfläche 602 eine Breite W und eine Höhe H (H=W) aufweist, und die rechteckige Projektionsfläche 604 eine Breite W und eine Höhe h (h<H) aufweist. Als ein Beispiel, aber nicht als Einschränkung, kann die uneinheitliche Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden. $\frac{y'}{h} = 1 - {(1 - \frac{Y}{H})}^{n}$
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 604 befindet, ein korrespondierende Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 602 befindet, durch die in Formel (3) ausgedrückte uneinheitliche Abbildungsfunktion bestimmt werden. Wie in 6 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3 und D4 sein, wobei D4>D3>D2>D1 ist. Insbesondere sind die Abtastpunkte uneinheitlich in der Höhenrichtung der quadratischen Projektionsfläche 602 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 604 wird unter Verwendung des Pixelwerts des korrespondierenden Abtastpunkts p' in der quadratischen Projektionsfläche 602 erhalten. Zum Beispiel werden Pixel in einem ersten herunterskalierten Bereich 606 in der rechteckigen Projektionsfläche 604 durch erneutes Abtasten eines ersten Quellenbereichs 610 der quadratischen Projektionsfläche 602 erhalten, und Pixel in einem zweiten herunterskalierten Bereich 608 in der rechteckigen Projektionsfläche 604 werden durch erneutes Abtasten des zweiten Quellenbereichs 612 der quadratischen Projektionsfläche 602 erhalten. Aufgrund der uneinheitlichen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellenbereich 610 erhalten werden, zu der Dichte von Abtastpunkten, die von dem zweiten Quellenbereich 612 erhalten werden, verschieden. Mit anderen Worten wird der erste herunterskalierte Bereich 610 durch erneutes Abtasten des ersten Quellenbereichs 610 mit einer ersten Abtastdichte erhalten, und der zweite herunterskalierte Bereich 612 wird durch erneutes Abtasten des zweiten Quellenbereichs 612 mit einer zweiten Abtastdichte erhalten, wobei die zweite Abtastdichte zu der ersten Abtastdichte verschieden ist.
Um mehr Details nahe der Hauptprojektionsfläche (z. B. die zentrale rechteckige Projektionsfläche „F“, welche zu dem Anwender-Viewport korrespondiert) zu bewahren, werden die erste Abtastdichte und die zweite Abtastdichte durch die uneinheitliche Abbildung geeignet gesteuert. Angenommen, dass der erste Quellenbereich 610 näher an einem Zentrum des Anwender-Viewports (z. B. ein Zentrum der rechteckigen Projektionsfläche „Front“) liegt als der zweite Bereich 612, dann wird die erste Abtastdichte insbesondere so festgelegt, dass sie höher ist als die zweite Abtastdichte. Auf diese Weise werden die meisten der Pixel in der rechteckigen Projektionsfläche 604 durch erneutes Abtasten des ersten Quellenbereichs 610 in der quadratischen Projektionsfläche 602 erhalten.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 602 nicht eine ganzzahlige Position ist. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 602 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf ganzzahlige Pixel um den Abtastunkt in der quadratischen Projektionsfläche 602 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
In einem anderen Fall wird die rechteckige Projektionsfläche 604 durch ein Herunterskalieren der quadratischen Projektionsfläche 602 in ihrer Breitenrichtung erhalten. Die uneinheitliche Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden. $\frac{x'}{h} = 1 - {(1 - \frac{X}{H})}^{n}$
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 604 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 602 befindet, durch die in Formel (4) ausgedrückte uneinheitliche Abbildungsfunktion bestimmt werden. Insbesondere sind die Abtastpunkte uneinheitlich in der Breitenrichtung der quadratischen Projektionsfläche 602 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 604 wird unter Verwendung des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 602 erhalten. Aufgrund der uneinheitlichen Abbildung in der Breitenrichtung wird ein erster herunterskalierter Bereich in der rechteckigen Projektionsfläche 604 durch erneutes Abtasten eines ersten Quellenbereichs der quadratischen Projektionsfläche 602 mit einer ersten Abtastdichte erhalten, und ein zweiter herunterskalierter Bereich in der rechteckigen Projektionsfläche 604 wird durch erneutes Abtasten eines zweiten Quellenbereichs der quadratischen Projektionsfläche 602 mit einer zweiten Abtastdichte erhalten, wobei die zweite Abtastdichte zu der ersten Abtastdichte verschieden ist. Zum Beispiel wird, wenn der erste Quellenbereich der quadratischen Projektionsfläche 602 näher an einem Zentrum des Anwender-Viewports liegt als der zweite Quellenbereich der quadratischen Projektionsfläche 602, die erste Abtastdichte insbesondere so festgelegt, dass sie höher ist als die zweite Abtastdichte.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 602 nicht eine ganzzahlige Position ist. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 602 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf die ganzzahligen Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 602 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
In noch einem anderen Fall wird die rechteckige Projektionsfläche 604 durch ein Herunterskalieren der quadratischen Projektionsfläche 602 in ihrer Höhenrichtung und Breitenrichtung erhalten. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 604 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 602 befindet, durch die in Formel (3) ausgedrückte uneinheitliche Abbildungsfunktion bestimmt werden. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 604 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 602 befindet, durch die in Formel (4) ausgedrückte uneinheitliche Abbildungsfunktion bestimmt werden. Insbesondere sind die Abtastpunkte uneinheitlich in der Höhenrichtung der quadratischen Projektionsfläche 602 verteilt und sind auch uneinheitlich in der Breitenrichtung der quadratischen Projektionsfläche 602 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 604 wird unter Verwendung des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 602 erhalten. Aufgrund der uneinheitlichen Abbildung in der Höhenrichtung und der Breitenrichtung wird ein erster herunterskalierter Bereich in der rechteckigen Projektionsfläche 604 durch erneutes Abtasten eines ersten Quellenbereichs der quadratischen Projektionsfläche 602 mit einer ersten Abtastdichte erhalten, und ein zweiter herunterskalierter Bereich in der rechteckigen Projektionsfläche 604 wird durch erneutes Abtasten eines zweiten Quellenbereichs der quadratischen Projektionsfläche 602 mit einer zweiten Abtastdichte erhalten, wobei die zweite Abtastdichte zu der ersten Abtastdichte verschieden ist. Wenn zum Beispiel der erste Quellenbereich der quadratischen Projektionsfläche 602 näher an einem Zentrum des Anwender-Viewports liegt als der zweite Quellenbereich der quadratischen Projektionsfläche 602, wird die erste Abtastdichte insbesondere so festgelegt, dass sie höher ist als die zweite Abtastdichte.
Es kann sein, dass ein Abtastpunkt (d. h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 602 nicht eine ganzzahlige Position ist. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate eines korrespondierenden Abtastpunkts in der quadratischen Projektionsfläche 602 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 auf die ganzzahligen Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 602 angewendet werden, um den Pixelwert des Abtastpunkts zu erhalten. Zum Beispiel kann der Interpolationsfilter ein Bilinear-Filter, ein Bicubic-Filter oder ein Lanczos-Filter sein.
Es sollte beachtet werden, dass die vorstehend genannten uneinheitlichen Abbildungsfunktionen darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. In einigen Ausführungsformen der vorliegenden Erfindung kann eine unterschiedliche uneinheitliche Abbildungsfunktion durch die Konvertierungsschaltung 114 für ein Projektionsflächen-Herunterskalieren eingesetzt werden.
Die uneinheitliche Abbildung kann eingesetzt werden, um mehr Details nahe der Hauptprojektionsfläche (z. B. die rechteckige Projektionsfläche „F“) in der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302 zu bewahren. Zum Beispiel werden die meisten der Pixel der rechteckigen Projektionsfläche „T“ durch erneutes Abtasten eines unteren Teils der quadratischen Projektionsfläche „Top“ erhalten, die meisten der Pixel der rechteckigen Projektionsfläche „L“ werden durch erneutes Abtasten eines rechten Teils der quadratischen Projektionsfläche „Left“ erhalten, die meisten der Pixel der rechteckigen Projektionsfläche „B“ werden durch erneutes Abtasten eines oberen Teils der quadratischen Projektionsfläche „Bottom“ erhalten, und die meisten der Pixel der rechteckigen Projektionsfläche „R“ werden durch erneutes Abtasten eines linken Teils der quadratischen Projektionsfläche „Right“ erhalten. Wie vorstehend erwähnt, besteht eine Bildinhaltskontinuitätsgrenze zwischen den rechteckigen Projektionsflächen „F“ und „T“, eine Bildinhaltskontinuitätsgrenze besteht zwischen den rechteckigen Projektionsflächen „F“ und „L“, eine Bildinhaltskontinuitätsgrenze besteht zwischen den rechteckigen Projektionsflächen „F“ und „B“, und eine Bildinhaltskontinuitätsgrenze besteht zwischen den rechteckigen Projektionsflächen „F“ und „L“. Da mehr Details nahe der Hauptprojektionsfläche (z.B. die rechteckige Projektionsfläche „F“) in den Hilfsprojektionsflächen „T“, „L“, „B“ und „R“ durch die uneinheitliche Abbildung bewahrt werden können, kann die Codierungs-Effizienz des projektionsbasierten Bilds IMG weiter verbessert werden. Zum Beispiel ist verglichen mit der Codierungs-Effizienz des projektionsbasierten Bilds IMG, das rechteckige Projektionsflächen „T“, „L“, „B“ und „R“ aufweist, die durch Herunterskalieren mit einer einheitlichen Abbildung generiert werden, die Codierungs-Effizienz des projektionsbasierten Bilds IMG, das rechteckige Projektionsflächen „T“, „L“, „B“ und „R“ aufweist, die durch Herunterskalieren mit einer uneinheitlichen Abbildung generiert werden, besser.
Es sollte beachtet werden, dass die uneinheitliche Abbildung auch zum Generieren der rechteckigen Projektionsfläche „BK“ verwendet werden kann, welche gleichmäßig in rechteckige Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ unterteilt ist. Zum Beispiel werden die meisten der Pixel der rechteckigen Projektionsfläche „BK“ aufgrund der Tatsache, dass der zentrale Teil der quadratischen Projektionsfläche „Back“ näher an dem Zentrum des Anwender-Viewports liegt als ein umgebender Teil der quadratischen Projektionsfläche „Back“, von einem erneuten Abtasten eines zentralen Teils der quadratischen Projektionsfläche „Back“ erhalten.
Hinsichtlich der ersten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 302, die in 3 gezeigt ist, ist die rechteckige Projektionsfläche „F“ die gleiche wie die quadratische Projektionsfläche „Front“ in der CMP-Anordnung 206. Mit anderen Worten wird der Viewport-Bereich in der quadratischen Projektionsfläche „Front“ durch die rechteckige Projektionsfläche „F“ vollständig bewahrt. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann die rechteckige Projektionsfläche „F“ eine herunterskalierte Version der quadratischen Projektionsfläche „Front“ in der CMP-Anordnung 206 sein.
8 ist ein Diagramm, das eine zweite vorgeschlagene Viewport-basierte Würfelprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die zweite vorgeschlagene Viewport-basierte Würfelprojektionsanordnung 802 kann von der CMP-Anordnung 206 mit einer Projektionsflächen-Herunterskalierung erhalten werden. Wie in dem oberen Teil von 8 gezeigt, ist die Breite jeder quadratischen Projektionsfläche W, und die Höhe jeder quadratischen Projektionsfläche ist H (H=W). Wie in dem mittleren Teil von 8 gezeigt, wird eine rechteckige Projektionsfläche „F“ durch Herunterskalieren der quadratischen Projektionsfläche „Front“ in ihrer Höhenrichtung mit einem ersten vordefinierten Herunterskalierungsfaktor u (u=H/H') und Herunterskalieren der quadratischen Projektionsfläche „Front“ in ihrer Breitenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor u (u=W/W', wobei W`=H` ist) erhalten, eine rechteckige Projektionsfläche „T“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Top“ in ihrer Höhenrichtung mit einem zweiten vordefinierten Herunterskalierungsfaktor s (s=H/h) und Herunterskalieren der quadratischen Projektionsfläche „Top“ in ihrer Breitenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor u erhalten, eine rechteckige Projektionsfläche „L“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Left“ in ihrer Breitenrichtung mit dem zweiten vordefinierten Herunterskalierungsfaktor s (s=W/w, wobei w=h ist) und ein Herunterskalieren der quadratischen Projektionsfläche „Left“ in ihrer Höhenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor u erhalten, eine rechteckige Projektionsfläche „B“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Bottom“ in ihrer Höhenrichtung mit dem zweiten vordefinierten Herunterskalierungsfaktor s und Herunterskalieren der quadratischen Projektionsfläche „Bottom“ in ihrer Breitenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor u erhalten, und eine rechteckige Projektionsfläche „R“ wird durch Herunterskalieren der quadratischen Projektionsfläche „Right“ in ihrer Breitenrichtung mit dem zweiten vordefinierten Herunterskalierungsfaktor s und Herunterskalieren der quadratischen Projektionsfläche „Right“ in ihrer Höhenrichtung mit dem ersten vordefinierten Herunterskalierungsfaktor u erhalten. Zusätzlich wird eine rechteckige Projektionsfläche „BK“ durch Herunterskalieren der quadratischen Projektionsfläche „Back“ in ihrer Breitenrichtung mit einem dritten vordefinierten Herunterskalierungsfaktor t (t=0,5*s) und Herunterskalieren der quadratischen Projektionsfläche „Back“ in ihrer Höhenrichtung mit dem dritten vordefinierten Herunterskalierungsfaktor t erhalten. In dieser Ausführungsform ist die rechteckige Projektionsfläche „BK“ gleichmäßig in rechteckige Teilprojektionsflächen „BO“, „B1“, „B2“ und „B3“ unterteilt, von denen jede eine Breite w und eine Höhe h (w=h) aufweist. Es sollte beachtet werden, dass die rechteckige Projektionsfläche „BK“ auch eine quadratische Projektionsfläche ist, sodass eine Form jeder der rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ auch ein Quadrat ist. Weiter ist eine Form der rechteckigen Projektionsfläche „F“ ein Quadrat.
In einer beispielhaften Herunterskalierungsauslegung wird die rechteckige Projektionsfläche „T“/„L“/„B“/„R“/„BK“ durch ein erneutes Abtasten einer korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ durch eine einheitliche Abbildung erhalten. In einer anderen beispielhaften Herunterskalierungsauslegung wird die rechteckige Projektionsfläche „T“/„L“/„B“/„R“/„BK“ durch ein erneutes Abtasten einer korrespondierenden quadratischen Projektionsfläche „Top“/„Left“/„Bottom“/„Right“/„Back“ durch eine uneinheitliche Abbildung erhalten. Da eine Person mit Kenntnissen auf dem Gebiet nach dem Lesen vorstehender Absätze Details einer Herunterskalierung mit einer einheitlichen Abbildung und einer Herunterskalierung mit einer uneinheitlichen Abbildung leicht erfassen kann, wird eine weitere Beschreibung hier der Kürze wegen weggelassen.
Die rechteckigen Projektionsflächen „F“, „T“, „L“, „B“ und „R“ und die rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ sind in der zweiten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 802 gepackt. Wie in dem unteren Teil von 8 gezeigt, korrespondiert die rechteckige Projektionsfläche „F“ zu dem Anwender-Viewport und ist durch einen umgebenden Bereich eingeschlossen, der aus den rechteckigen Projektionsflächen „T“, „L“, „B“ und „R“ und den rechteckigen Teilprojektionsflächen „B0“, „B1“, „B2“ und „B3“ zusammengesetzt ist. Genauer ist eine Seite S21 der rechteckigen Projektionsfläche „T“ mit einer Seite S11 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S22 der rechteckigen Projektionsfläche „T“ ist mit einer Seite S601 der rechteckigen Teilprojektionsfläche „B0“ verbunden, eine Seite S23 der rechteckigen Projektionsfläche „T“ ist mit einer Seite S611 der rechteckigen Teilprojektionsfläche „B1“ verbunden, eine Seite S31 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S12 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S32 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S621 der rechteckigen Teilprojektionsfläche „B2“ verbunden, eine Seite S33 der rechteckigen Projektionsfläche „L“ ist mit einer Seite S602 der rechteckigen Teilprojektionsfläche „B0“ verbunden, eine Seite S41 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S13 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S42 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S631 der rechteckigen Teilprojektionsfläche „B3“ verbunden, eine Seite S43 der rechteckigen Projektionsfläche „B“ ist mit einer Seite S622 der rechteckigen Teilprojektionsfläche „B2“ verbunden, eine Seite S51 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S14 der rechteckigen Projektionsfläche „F“ verbunden, eine Seite S52 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S612 der rechteckigen Teilprojektionsfläche „B1“ verbunden, und eine Seite S53 der rechteckigen Projektionsfläche „R“ ist mit einer Seite S632 der rechteckigen Teilprojektionsfläche „B3“ verbunden.
Da eine Person mit Kenntnissen auf dem Gebiet Details der zweiten vorgeschlagenen Viewport-basierten Würfelprojektionsanordnung 802 nach dem Lesen vorstehender Absätze, die auf die erste vorgeschlagene Viewport-basierte Würfelprojektionsanordnung 302 gerichtet sind, leicht verstehen kann, wird eine weitere Beschreibung hier der Kürze wegen weggelassen.
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als durch die Maße und Grenzen der angehängten Ansprüche limitiert interpretiert werden.

Claims

Videoverarbeitungsverfahren, aufweisend: Empfangen eines Rundum-Bild-/Video-Inhalts, der zu einer Kugelansicht korrespondiert; Generieren eines projektionsbasierten Rahmens gemäß dem Rundum-Bild-/VideoInhalt und einer Viewport-basierten Würfelprojektionsanordnung durch Abbilden des Rundum-Bild-/Video-Inhalts der Kugelansicht auf quadratische Projektionsflächen über eine Würfelabbildungsprojektion der Kugelansicht, wobei der projektionsbasierte Rahmen einen 360-Grad-Bild-/Video-Inhalt aufweist, der durch rechteckige Projektionsflächen repräsentiert wird, die in der Viewport-basierten Würfelprojektionsanordnung gepackt sind, und die rechteckigen Projektionsflächen eine erste rechteckige Projektionsfläche, eine zweite rechteckige Projektionsfläche, eine dritte rechteckige Projektionsfläche, eine vierte rechteckige Projektionsfläche, eine fünfte rechteckige Projektionsfläche und eine sechste rechteckige Projektionsfläche aufweisen; und Codieren des projektionsbasierten Rahmens durch einen Video-Codierer, um einen Teil eines Bitstroms zu generieren; dadurch gekennzeichnet, dass die sechste rechteckige Projektionsfläche in rechteckige Teilprojektionsflächen unterteilt ist, und die erste rechteckige Projektionsfläche zu einem Anwender-Viewport korrespondiert und durch einen umgebenden Bereich eingeschlossen ist, der aus der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und den rechteckigen Teilprojektionsflächen zusammengesetzt ist; wobei das Generieren des projektionsbasierten Rahmens gemäß dem Rundum-Bild-/Video-Inhalt und der Viewport-basierten Würfelprojektionsanordnung aufweist: Erhalten der ersten rechteckigen Projektionsfläche, der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche jeweils von den quadratischen Projektionsflächen, wobei jede der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche durch ein Herunterskalieren einer korrespondierenden quadratischen Projektionsfläche erhalten wird.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei eine erste Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der zweiten rechteckigen Projektionsfläche verbunden ist; eine zweite Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der dritten rechteckigen Projektionsfläche verbunden ist; eine dritte Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der vierten rechteckigen Projektionsfläche verbunden ist; eine vierte Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der fünften rechteckigen Projektionsfläche verbunden ist; die rechteckigen Teilprojektionsflächen eine erste rechteckige Teilprojektionsfläche, eine zweite rechteckige Teilprojektionsfläche, eine dritte rechteckige Teilprojektionsfläche und eine vierte rechteckige Teilprojektionsfläche aufweisen; die erste rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer zweiten Seite der zweiten rechteckigen Projektionsfläche und einer zweiten Seite der dritten rechteckigen Projektionsfläche verbunden sind; die dritte rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der dritten rechteckigen Projektionsfläche und einer zweiten Seite der vierten rechteckigen Projektionsfläche verbunden sind; die vierte rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der vierten rechteckigen Projektionsfläche und einer zweiten Seite der fünften rechteckigen Projektionsfläche verbunden sind; und die zweite rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der zweiten rechteckigen Projektionsfläche und einer dritten Seite der fünften rechteckigen Projektionsfläche verbunden sind.
Videoverarbeitungsverfahren gemäß Anspruch 2, wobei es eine Bildkontinuitätsgrenze zwischen der ersten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der zweiten rechteckigen Projektionsfläche gibt, es eine Bildkontinuitätsgrenze zwischen der zweiten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bildkontinuitätsgrenze zwischen der dritten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der vierten rechteckigen Projektionsfläche gibt, und es eine Bildkontinuitätsgrenze zwischen der vierten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der fünften rechteckigen Projektionsfläche gibt.
Videoverarbeitungsverfahren gemäß Anspruch 2, wobei es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der ersten rechteckigen Teilprojektionsfläche und der zweiten Seite der zweiten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der ersten rechteckigen Teilprojektionsfläche und der zweiten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der dritten rechteckigen Teilprojektionsfläche und der dritten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der dritten rechteckigen Teilprojektionsfläche und der zweiten Seite der vierten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der vierten rechteckigen Teilprojektionsfläche und der dritten Seite der vierten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der vierten rechteckigen Teilprojektionsfläche und der zweiten Seite der fünften rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der zweiten rechteckigen Teilprojektionsfläche und der dritten Seite der zweiten rechteckigen Projektionsfläche gibt, und es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der zweiten rechteckigen Teilprojektionsfläche und der dritten Seite der fünften rechteckigen Projektionsfläche gibt.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Erhalten der ersten rechteckigen Projektionsfläche, der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche jeweils von den quadratischen Projektionsflächen aufweist: direktes Verwenden einer ersten quadratischen Projektionsfläche als die erste rechteckige Projektionsfläche; Erhalten der zweiten rechteckigen Projektionsfläche durch Herunterskalieren einer zweiten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem ersten Herunterskalierungsfaktor; Erhalten der dritten rechteckigen Projektionsfläche durch Herunterskalieren einer dritten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor; Erhalten der vierten rechteckigen Projektionsfläche durch Herunterskalieren einer vierten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem ersten Herunterskalierungsfaktor; Erhalten der fünften rechteckigen Projektionsfläche durch Herunterskalieren einer fünften quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor; und Erhalten der sechsten rechteckigen Projektionsfläche durch Herunterskalieren einer sechsten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem zweiten Herunterskalierungsfaktor und Herunterskalieren der sechsten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor, wobei der erste Herunterskalierungsfaktor zweimal so groß ist wie der zweite Herunterskalierungsfaktor.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Erhalten der ersten rechteckigen Projektionsfläche, der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche jeweils von den quadratischen Projektionsflächen aufweist: Erhalten der ersten rechteckigen Projektionsfläche durch Herunterskalieren einer ersten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem ersten Herunterskalierungsfaktor und Herunterskalieren der ersten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor; Erhalten der zweiten rechteckigen Projektionsfläche durch Herunterskalieren einer zweiten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem zweiten Herunterskalierungsfaktor und Herunterskalieren der zweiten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor; Erhalten der dritten rechteckigen Projektionsfläche durch Herunterskalieren einer dritten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem ersten Herunterskalierungsfaktor und Herunterskalieren der dritten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor; Erhalten der vierten rechteckigen Projektionsfläche durch Herunterskalieren einer vierten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem zweiten Herunterskalierungsfaktor und Herunterskalieren der vierten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor; Erhalten der fünften rechteckigen Projektionsfläche durch Herunterskalieren einer fünften quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem ersten Herunterskalierungsfaktor und Herunterskalieren der fünften quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor; und Erhalten der sechsten rechteckigen Projektionsfläche durch Herunterskalieren einer sechsten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem dritten Herunterskalierungsfaktor und Herunterskalieren der sechsten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem dritten Herunterskalierungsfaktor, wobei der zweite Herunterskalierungsfaktor zweimal so groß ist wie der dritte Herunterskalierungsfaktor.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei eine Form der Viewport-basierten Würfelprojektionsanordnung ein Quadrat ist; eine Form der ersten rechteckigen Projektionsfläche ein Quadrat ist; eine Form jeder der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche und der fünften rechteckigen Projektionsfläche kein Quadrat ist; und eine Form jeder der rechteckigen Teilprojektionsflächen ein Quadrat ist.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei ein Herunterskalieren der korrespondierenden quadratischen Projektionsfläche aufweist: erneutes Abtasten der korrespondierenden quadratischen Projektionsfläche durch eine uneinheitliche Abbildung, wobei die korrespondierende quadratische Projektionsfläche einen ersten Quellenbereich und einen zweiten Quellenbereich aufweist, jede der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche einen ersten herunterskalierten Bereich und einen zweiten herunterskalierten Bereich aufweist, der erste herunterskalierte Bereich durch erneutes Abtasten des ersten Quellenbereichs mit einer ersten Abtastdichte erhalten wird, und der zweite herunterskalierte Bereich durch erneutes Abtasten des zweiten Quellenbereichs mit einer zweiten Abtastdichte, die zu der ersten Abtastdichte verschieden ist, erhalten wird.
Videoverarbeitungsverfahren gemäß Anspruch 8, wobei der erste Quellenbereich näher an einem Zentrum des Anwender-Viewports liegt als der zweite Quellenbereich, und die erste Abtastdichte höher ist als die zweite Abtastdichte.
Videoverarbeitungsvorrichtung, aufweisend: eine Konvertierungsschaltung, die eingerichtet ist, einen Rundum-Bild-/Video-Inhalt zu empfangen, der zu einer Kugelansicht korrespondiert, und einen projektionsbasierten Rahmen gemäß dem Rundum-Bild-/Video-Inhalt und einer Viewport-basierten Würfelprojektionsanordnung durch Abbilden des Rundum-Bild-/Video-Inhalts der Kugelansicht auf quadratische Projektionsflächen über eine Würfelabbildungsprojektion der Kugelansicht zu generieren, wobei der projektionsbasierte Rahmen einen 360-Grad-Bild-/Video-Inhalt aufweist, der durch rechteckige Projektionsflächen repräsentiert wird, die in der Viewport-basierten Würfelprojektionsanordnung gepackt sind, und die rechteckigen Projektionsflächen eine erste rechteckige Projektionsfläche, eine zweite rechteckige Projektionsfläche, eine dritte rechteckige Projektionsfläche, eine vierte rechteckige Projektionsfläche, eine fünfte rechteckige Projektionsfläche und eine sechste rechteckige Projektionsfläche aufweisen; und einen Video-Codierer, der eingerichtet ist, den projektionsbasierten Rahmen zu codieren, um einen Teil eines Bitstroms zu generieren; dadurch gekennzeichnet, dass die sechste rechteckige Projektionsfläche in rechteckige Teilprojektionsflächen unterteilt ist, und die erste rechteckige Projektionsfläche zu einem Anwender-Viewport korrespondiert und durch einen umgebenden Bereich eingeschlossen ist, der aus der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und den rechteckigen Teilprojektionsflächen zusammengesetzt ist; wobei die Konvertierungsschaltung weiter eingerichtet ist, die erste rechteckige Projektionsfläche, die zweite rechteckige Projektionsfläche, die dritte rechteckige Projektionsfläche, die vierte rechteckige Projektionsfläche, die fünfte rechteckige Projektionsfläche und die sechste rechteckige Projektionsfläche jeweils von den quadratischen Projektionsflächen zu erhalten, wobei jede der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche durch Herunterskalieren einer korrespondierenden quadratischen Projektionsfläche erhalten wird.
Videoverarbeitungsvorrichtung gemäß Anspruch 10, wobei eine erste Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der zweiten rechteckigen Projektionsfläche verbunden ist; eine zweite Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der dritten rechteckigen Projektionsfläche verbunden ist; eine dritte Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der vierten rechteckigen Projektionsfläche verbunden ist; eine vierte Seite der ersten rechteckigen Projektionsfläche mit einer ersten Seite der fünften rechteckigen Projektionsfläche verbunden ist; die rechteckigen Teilprojektionsflächen eine erste rechteckige Teilprojektionsfläche, eine zweite rechteckige Teilprojektionsfläche, eine dritte rechteckige Teilprojektionsfläche und eine vierte rechteckige Teilprojektionsfläche aufweisen; die erste rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer zweiten Seite der zweiten rechteckigen Projektionsfläche und einer zweiten Seite der dritten rechteckigen Projektionsfläche verbunden sind; die dritte rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der dritten rechteckigen Projektionsfläche und einer zweiten Seite der vierten rechteckigen Projektionsfläche verbunden sind; die vierte rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der vierten rechteckigen Projektionsfläche und einer zweiten Seite der fünften rechteckigen Projektionsfläche verbunden sind; und die zweite rechteckige Teilprojektionsfläche eine erste Seite und eine zweite Seite aufweist, die jeweils mit einer dritten Seite der zweiten rechteckigen Projektionsfläche und einer dritten Seite der fünften rechteckigen Projektionsfläche verbunden sind.
Videoverarbeitungsvorrichtung gemäß Anspruch 11, wobei es eine Bildkontinuitätsgrenze zwischen der ersten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der zweiten rechteckigen Projektionsfläche gibt, es eine Bildkontinuitätsgrenze zwischen der zweiten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bildkontinuitätsgrenze zwischen der dritten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der vierten rechteckigen Projektionsfläche gibt, und es eine Bildkontinuitätsgrenze zwischen der vierten Seite der ersten rechteckigen Projektionsfläche und der ersten Seite der fünften rechteckigen Projektionsfläche gibt.
Videoverarbeitungsvorrichtung gemäß Anspruch 11, wobei es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der ersten rechteckigen Teilprojektionsfläche und der zweiten Seite der zweiten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der ersten rechteckigen Teilprojektionsfläche und der zweiten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der dritten rechteckigen Teilprojektionsfläche und der dritten Seite der dritten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der dritten rechteckigen Teilprojektionsfläche und der zweiten Seite der vierten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der vierten rechteckigen Teilprojektionsfläche und der dritten Seite der vierten rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der vierten rechteckigen Teilprojektionsfläche und der zweiten Seite der fünften rechteckigen Projektionsfläche gibt, es eine Bilddiskontinuitätsgrenze zwischen der ersten Seite der zweiten rechteckigen Teilprojektionsfläche und der dritten Seite der zweiten rechteckigen Projektionsfläche gibt, und es eine Bilddiskontinuitätsgrenze zwischen der zweiten Seite der zweiten rechteckigen Teilprojektionsfläche und der dritten Seite der fünften rechteckigen Projektionsfläche gibt.
Videoverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Konvertierungsschaltung direkt eine erste quadratische Projektionsfläche als die erste rechteckige Projektionsfläche verwendet, die zweite rechteckige Projektionsfläche durch Herunterskalieren einer zweiten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem Herunterskalierungsfaktor erhält, die dritte rechteckige Projektionsfläche durch Herunterskalieren einer dritten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem Herunterskalierungsfaktor erhält, die vierte rechteckige Projektionsfläche durch Herunterskalieren einer vierten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem Herunterskalierungsfaktor erhält, die fünfte rechteckige Projektionsfläche durch Herunterskalieren einer fünften quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem Herunterskalierungsfaktor erhält, und die sechste rechteckige Projektionsfläche durch Herunterskalieren einer sechsten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem zweiten Herunterskalierungsfaktor und Herunterskalieren der sechsten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor erhält, wobei der erste Herunterskalierungsfaktor zweimal so groß ist wie der zweite Herunterskalierungsfaktor.
Videoverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Konvertierungsschaltung die erste rechteckige Projektionsfläche durch Herunterskalieren einer ersten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem ersten Herunterskalierungsfaktor und Herunterskalieren der ersten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor erhält, die zweite rechteckige Projektionsfläche durch Herunterskalieren einer zweiten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem zweiten Herunterskalierungsfaktor und Herunterskalieren der zweiten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor erhält, die dritte rechteckige Projektionsfläche durch Herunterskalieren einer dritten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem ersten Herunterskalierungsfaktor und Herunterskalieren der dritten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor erhält, die vierte rechteckige Projektionsfläche durch Herunterskalieren einer vierten quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem zweiten Herunterskalierungsfaktor und Herunterskalieren der vierten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem ersten Herunterskalierungsfaktor erhält, die fünfte rechteckige Projektionsfläche durch Herunterskalieren einer fünften quadratischen Projektionsfläche in ihrer Höhenrichtung mit dem ersten Herunterskalierungsfaktor und Herunterskalieren der fünften quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem zweiten Herunterskalierungsfaktor erhält, und die sechste rechteckige Projektionsfläche durch Herunterskalieren einer sechsten quadratischen Projektionsfläche in ihrer Höhenrichtung mit einem dritten Herunterskalierungsfaktor und Herunterskalieren der ersten quadratischen Projektionsfläche in ihrer Breitenrichtung mit dem dritten Herunterskalierungsfaktor erhält, wobei der zweite Herunterskalierungsfaktor zweimal so groß ist wie der dritte Herunterskalierungsfaktor.
Videoverarbeitungsvorrichtung gemäß Anspruch 10, wobei eine Form der Viewport-basierten Würfelprojektionsanordnung ein Quadrat ist; eine Form der ersten rechteckigen Projektionsfläche ein Quadrat ist; eine Form jeder der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche und der fünften rechteckigen Projektionsfläche kein Quadrat ist; und eine Form jeder der rechteckigen Teilprojektionsflächen ein Quadrat ist.
Videoverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Konvertierungsschaltung die korrespondierende quadratische Projektionsfläche herunterskaliert durch: erneutes Abtasten der korrespondierenden quadratischen Projektionsfläche durch eine uneinheitliche Abbildung, wobei die korrespondierende quadratische Projektionsfläche einen ersten Quellenbereich und einen zweiten Quellenbereich aufweist, jede der zweiten rechteckigen Projektionsfläche, der dritten rechteckigen Projektionsfläche, der vierten rechteckigen Projektionsfläche, der fünften rechteckigen Projektionsfläche und der sechsten rechteckigen Projektionsfläche einen ersten herunterskalierten Bereich und einen zweiten herunterskalierten Bereich aufweist, der erste herunterskalierte Bereich durch erneutes Abtasten des ersten Quellenbereichs mit einer ersten Abtastdichte erhalten wird, und der zweite herunterskalierte Bereich durch erneutes Abtasten des zweiten Quellenbereichs mit einer zweiten Abtastdichte, die von der ersten Abtastdichte verschieden ist, erhalten wird.
Videoverarbeitungsvorrichtung gemäß Anspruch 17, wobei der erste Quellenbereich näher an einem Zentrum des Anwender-Viewports liegt als der zweite Quellenbereich, und die erste Abtastdichte höher ist als die zweite Abtastdichte.
Videodecodierungsverfahren, aufweisend: Empfangen eines Bitstroms mittels eines Video-Decodierers; und Decodieren eines Teils des Bitstromes, um einen decodierten Rahmen zu generieren; wobei der Teil des Bitstromes einem codierten projektionsbasierten Rahmen entspricht, der decodierte Rahmen dem projektionsbasierten Rahmen entspricht und der projektionsbasierte Rahmen mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 9 generiert wird.
Video-Decodierer, der eingerichtet ist: einen Bitstrom zu empfangen; und einen Teil des Bitstromes zu decodieren, um einen decodierten Rahmen zu generieren; wobei der Teil des Bitstromes einem codierten projektionsbasierten Rahmen entspricht, der decodierte Rahmen dem projektionsbasierten Rahmen entspricht und der projektionsbasierte Rahmen mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 9 generiert wird.