DE112018002436T5

DE112018002436T5 - Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt ist

Info

Publication number: DE112018002436T5
Application number: DE112018002436.9T
Authority: DE
Inventors: Jian-Liang Lin; Peng Wang; Lin Liu; Ya-Hsuan Lee; Hung-Chih Lin; Shen-Kai Chang
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2017-09-27
Filing date: 2018-09-25
Publication date: 2020-02-20
Also published as: TW201921035A; TWI702567B; WO2019062714A1; CN109906468A; CN109906468B; CN116912129A

Abstract

Ein Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine Würfelabbildungsprojektion auf die Projektionsflächen abgebildet wird, und die Projektionsflächen eine erste Projektionsfläche aufweisen; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein Wiederabtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der Würfelabbildungsprojektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung gepackt ist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.

Description

Querverweis auf verwandte Anwendungen
Diese Anmeldung ist eine Continuation-In-Part der U.S. Patentanmeldung Nr. 15/917,844 , eigenreicht am 12.03.2018 und beansprucht die Priorität der vorläufigen U.S. Anmeldung Nr. 62/563,787 , eingereicht am 27.09.2017, der vorläufigen U.S. Anmeldung Nr. 62/583,078 , eingereicht am 08.11.2017 und der vorläufigen U.S. Anmeldung Nr. 62/583,573 , eingereicht am 09.11.2017, und der PCT-Anmeldung Nr. PCT/CN2018/081723, eingereicht am 03.04.2018, wobei die U.S. Patentanmeldung Nr. 15/917,844 die Priorität der vorläufigen U.S. Anmeldung Nr. 62/470,425 , eingereicht am 13.03.2017, beansprucht.
Die gesamten Inhalte der verwandten Anmeldungen einschließlich der U.S. Patentanmeldung Nr. 15/917,844 , der vorläufigen U.S. Anmeldung Nr. 62/563,787 , der vorläufigen U.S. Anmeldung Nr. 62/583,078 , der vorläufigen U.S. Anmeldung Nr. 62/583,573 und der PCT-Anmeldung Nr. PCT/CN2018/081723 sind hier durch Bezugnahme eingeschlossen.
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten eines Rundum-Bild/Video-Inhalts, und genauer auf ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-(360-VR-) Projektionsanordnung gepackt ist.
Hintergrund
Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) gehört zu einer Vielfalt von Anwendungen. Die Möglichkeit, einem Anwender eine weite Ansicht eines Inhalts zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen bereitzustellen. Eine reale Umgebung muss in allen Richtungen aufgenommen werden, was in einem Rundum-Bild/Video-Inhalt resultiert, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren eines solchen 360-Grad-Bild/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Datenkomprimierung/-Codierung entscheidend für eine Bitratenreduktion.
Im Allgemeinen wird der Rundum-Bild/Video-Inhalt, der zu der Kugel korrespondiert, in eine Folge von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild/Video-Inhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Folge der projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Der projektionsbasierte Rahmen kann eine Bildinhaltsdiskontinuität an Rändern und/oder Flächenkanten der Anordnung aufweisen. Als eine Folge kann die Bildqualität um Ränder und/oder Flächenkanten der Anordnung nach einer Komprimierung schlecht sein. Weiter können Artefakte durch eine Projektionsanordnungskonvertierung eines decodierten projektionsbasierten Rahmens eingeführt werden, was somit zu einer Bildqualitätsverschlechterung eines konvertierten projektionsbasierten Rahmens führt.
Zusammenfassung
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens zur Verfügung zu stellen, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gepackt ist.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine Würfelabbildungsprojektion auf die Projektionsflächen abgebildet wird, und die Projektionsflächen eine erste Projektionsfläche aufweisen; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein Wiederabtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellenbereich und einen zweiten Quellenbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem Wiederabtasten des ersten Quellenbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem Wiederabtasten des zweiten Quellenbereichs mit einer zweiten Abtastdichte hergeleitet wird, welche zu der ersten Abtastdichte verschieden ist; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der Würfelabbildungsprojektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung gepackt ist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer Würfelabbildungsprojektion; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in einer Projektionsanordnung der Würfelabbildungsprojektion, wobei die Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich mindestens die erste Projektionsfläche berührt und mindestens einen Teil eines Rands der Projektionsanordnung bildet; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms und Decodieren des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren. Der Schritt des Decodierens des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen zu generieren, umfasst: Rekonstruieren eines ersten Pixels, das in dem mindestens einen Auffüllbereich enthalten ist, durch Mischen eines decodierten Pixelwerts, der für das erste Pixel erhalten wird, und eines decodierten Pixelwerts, der für ein zweites Pixel erhalten wird, das in der mindestens einen Projektionsfläche enthalten ist.
Diese und andere Aufgaben der vorliegenden Erfindung werden zweifellos für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach einem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform offenbar, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist.
Figurenliste

1 ist ein Diagramm, das ein erstes 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaederprojektionsformats darstellt, welche von einer Oktaederprojektion einer Kugel gemäß einem unrotierten Oktaeder erhalten werden.
3 ist ein Diagramm, das eine erste kompakte Oktaederprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaederprojektionsformats darstellt, welche von einer Oktaederprojektion einer Kugel gemäß einem rotierten Oktaeder erhalten werden.
5 ist ein Diagramm, das eine zweite kompakte Oktaederprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
6 ist ein Diagramm, das eine erste kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
7 ist ein Diagramm, das eine zweite kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
8 ist ein Diagramm, das Beispiele einer Interpolation darstellt, die durch eine in 1 gezeigte Auffüllschaltung ausgeführt wird.
9 ist ein Diagramm, das ein Beispiel einer Geometrieauffüllung darstellt, die durch die in 1 gezeigte Auffüllschaltung ausgeführt wird.
10 ist ein Diagramm, das eine kompakte Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
11 ist ein Diagramm, das eine dritte kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
12 ist ein Diagramm, das eine erste ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
13 ist ein Diagramm, das eine zweite ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
14 ist ein Diagramm, das eine dritte ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
15 ist ein Diagramm, das eine Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
16 ist ein Diagramm, das eine Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
17 ist ein Diagramm, das eine vierte kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
18 ist ein Diagramm, das eine kompakte Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
19 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
20 ist ein Diagramm, das sechs quadratische Projektionsflächen einer Würfelabbildungsprojektions- (CMP-) Anordnung darstellt, die von einer Würfelabbildungsprojektion einer Kugel erhalten werden.
21 ist ein Diagramm, das ein Beispiel eines Wiederabtastens einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine gleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
22 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
23 ist ein Diagramm, das ein erstes Beispiel eines Wiederabtastens einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine ungleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
24 ist ein Diagramm, das ein zweites Beispiel eines Wiederabtastens einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine ungleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
25 ist ein Diagramm, das eine Kurve einer ersten ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
26 ist ein Diagramm, das eine Kurve einer zweiten ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
27 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
28 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
29 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
30 ist ein Diagramm, das andere Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
31 ist ein Diagramm, das eine Auffüllauslegung, welche einen Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche generiert, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
32 ist ein Diagramm, das ein viertes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
33 ist ein Diagramm, das ein fünftes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
34 ist ein Diagramm, das eine decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
35 ist ein Diagramm, das das Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
36 ist ein Diagramm, das ein anderes Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
37 ist ein Diagramm, das ein sechstes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
38 ist ein Diagramm, das ein siebtes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
39 ist ein Diagramm, das das Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, und Pixelwerten von Auffüllpixeln in einem Auffüllbereich gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
40 ist ein Diagramm, das ein anderes Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, und Pixelwerten von Auffüllpixeln in einem Auffüllbereich gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.

Detaillierte Beschreibung
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden innerhalb der nachfolgenden Beschreibung und Ansprüche verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Elektronikausrüstungshersteller durch unterschiedliche Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, welche sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet und sollten somit so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf...“ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
1 ist ein Diagramm, das ein erstes 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Videoverarbeitungsvorrichtungen (z.B. eine Quellenelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellenelektronikvorrichtung 102 weist eine Videoaufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Zum Beispiel kann die Videoaufnahmevorrichtung 112 ein Satz von Kameras sein, der verwendet wird, um einen Rundum-Bild/Video-Inhalt (z.B. mehrere Bilder, welche eine gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Videoaufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung L_VR gemäß dem Rundum-Bild/Video-Inhalt S_IN. Zum Beispiel kann der projektionsbasierte Rahmen IMG ein Rahmen sein, der in einer Folge von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungsschaltung, die verwendet wird, um die projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Folge von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
Die Zielelektronikvorrichtung 104 kann eine am Kopf befestigte Anzeige- (HMD-) Vorrichtung sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 eine Decodierungsschaltung 122, eine Graphikwiedergabeschaltung 124 und einen Anzeigebildschirm 126 auf. Die Decodierungsschaltung 122 empfängt den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Video-Decodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um einen decodierten Rahmen IMG' zu generieren. Zum Beispiel generiert die Decodierungsschaltung 122 eine Folge von decodierten Rahmen durch ein Decodieren des empfangenen Bitstroms BS, wobei der decodierte Rahmen IMG' ein Rahmen ist, der in der Folge von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der durch den Video-Codierer 116 auf der Codiererseite zu codierende projektionsbasierte Rahmen IMG ein 360-VR-Projektionsformat mit einer Projektionsanordnung auf. Daher ist, nachdem der Bitstrom BS durch die Decodierungsschaltung 122 auf der Decodiererseite decodiert worden ist, der decodierte Rahmen IMG' ein decodierter projektionsbasierter Rahmen, der das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung aufweist. Die Graphikwiedergabeschaltung 124 ist zwischen der Decodierungsschaltung 122 und dem Anzeigebildschirm 126 angeschlossen. Die Graphikwiedergabeschaltung 124 gibt Ausgangsbilddaten gemäß dem decodierten Rahmen IMG' wieder und zeigt sie auf dem Anzeigebildschirm 126 an. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild/Video-Inhalts gehört, der durch den decodierten Rahmen IMG' transportiert wird, über die Graphikwiedergabeschaltung 124 auf dem Anzeigebildschirm 126 angezeigt werden.
Wie vorstehend erwähnt, generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR und dem Rundum-Bild/Video-Inhalt S_IN. Wenn die 360-VR-Projektionsanordnung L_VR eine kompakte Projektionsanordnung ohne Auffüllung ist, ist es möglich, dass ein Packen von Projektionsflächen in Bildinhaltsdiskontinuitätskanten zwischen benachbarten Projektionsflächen resultiert.
2 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaederprojektionsformats darstellt, welche von einer Oktaederprojektion einer Kugel gemäß einem unrotierten Oktaeder erhalten werden. Ein Rundum-Bild/Video-Inhalt einer Kugel 202 wird auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) eines unrotierten Oktaeders 204 abgebildet. Wie in 2 gezeigt, sind die dreieckigen Projektionsflächen „1“-„8“ in einer Oktaederprojektionsanordnung 206 angeordnet. Eine Form jeder der dreieckigen Projektionsflächen „1“-„8“ ist ein gleichseitiges Dreieck. Für eine dreieckige Projektionsfläche „K“ (K = 1-8) weist diese Fläche drei Seiten auf, die als SK1, SK2 und SK3 gekennzeichnet sind. Die Kugel 202 ist aus einer oberen Hemisphäre (z.B. eine nördliche Hemisphäre) und einer unteren Hemisphäre (z.B. eine südliche Hemisphäre) aufgebaut. Aufgrund einer Oktaederprojektion basierend auf dem unrotierten Oktaeder 204 werden die dreieckigen Projektionsflächen „1“, „2“, „3“ und „4“ alle von der oberen Hemisphäre hergeleitet, werden die dreieckigen Projektionsflächen „5“, „6“, „7“ und „8“ alle von der unteren Hemisphäre hergeleitet und wird ein Äquator 208 der Kugel 202 entlang von Seiten S13, S23, S33, S43, S53, S63, S73 und S83 der dreieckigen Projektionsflächen „1“-„8“ abgebildet, wie durch gestrichelte Linien in 2 angezeigt.
Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die Oktaederprojektionsanordnung 206 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, ist es wegen vieler Auffüllbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche), die in dem projektionsbasierten Rahmen gefüllt sind, unmöglich, dass der projektionsbasierte Rahmen IMG eine kompakte Rahmenanordnung aufweist. Somit besteht eine Notwendigkeit für eine kompakte Oktaederprojektionsanordnung, welche ein Verwenden von Auffüllbereichen (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) vermeiden kann.
Es sei auf 2 in Verbindung mit 3 verwiesen. 3 ist ein Diagramm, das eine erste kompakte Oktaederprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Äquator 208 der Kugel 202 wird entlang von Seiten der dreieckigen Projektionsflächen „1“-„8“ abgebildet, wie durch gestrichelte Linien in 3 angezeigt. Die kompakte Oktaederprojektionsanordnung 310 wird von der Oktaederprojektionsanordnung 206 mit einer Dreieckprojektionsflächenrotation und einer Dreieckprojektionsflächenteilung abgeleitet. Wie in dem mittleren Teil von 3 gezeigt, wird die dreieckige Projektionsfläche „1“ in der Oktaederprojektionsanordnung 206 um 60° im Uhrzeigersinn rotiert, wird die dreieckige Projektionsfläche „3“ in der Oktaederprojektionsanordnung 206 um 60° gegen den Uhrzeigersinn rotiert, wird die dreieckige Projektionsfläche „5“ in der Oktaederprojektionsanordnung 206 um 60° gegen den Uhrzeigersinn rotiert, und wird die dreieckige Projektionsfläche „7“ in der Oktaederprojektionsanordnung 206 um 60° im Uhrzeigersinn rotiert. Daher berührt die Seite S21 der dreieckigen Projektionsfläche „2“ die Seite S12 der dreieckigen Projektionsfläche „1“, berührt die Seite S22 der dreieckigen Projektionsfläche „2“ die Seite S31 der dreieckigen Projektionsfläche „3“, berührt die Seite S62 der dreieckigen Projektionsfläche „6“ die Seite S51 der dreieckigen Projektionsfläche „5“, und berührt die Seite S61 der dreieckigen Projektionsfläche „6“ die Seite S72 der dreieckigen Projektionsfläche „7“.
Wie in dem mittleren Teil von 3 gezeigt, existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S21 der dreieckigen Projektionsfläche „2“ und der Seite S12 der dreieckigen Projektionsfläche „1“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „1“ und „2“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S22 der dreieckigen Projektionsfläche „2“ und der Seite S31 der dreieckigen Projektionsfläche „3“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „3“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S23 der dreieckigen Projektionsfläche „2“ und der Seite S63 der dreieckigen Projektionsfläche „6“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „6“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S62 der dreieckigen Projektionsfläche „6“ und der Seite S51 der dreieckigen Projektionsfläche „5“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „5“ und „6“ repräsentiert), und existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S61 der dreieckigen Projektionsfläche „6“ und der Seite S72 der dreieckigen Projektionsfläche „7“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „6“ und „7“ repräsentiert).
Zusätzlich ist die dreieckige Projektionsfläche „8“ in der Oktaederprojektionsanordnung 206 in zwei rechtwinklig-dreieckig geformte Teile 302 und 304 geteilt, und ist die dreieckige Projektionsfläche „4“ in der Oktaederprojektionsanordnung 206 in zwei rechtwinklig-dreieckig geformte Teile 306 und 308 geteilt. Wie in dem unteren Teil von 3 gezeigt, berühren der rechtwinklig-dreieckig geformte Teil 304 der dreieckigen Projektionsfläche „8“ und der rechtwinklig-dreieckig geformte Teil 308 der dreieckigen Projektionsfläche „4“ jeweils die dreieckigen Projektionsflächen „7“ und „3“; und sind der rechtwinklig-dreieckig geformte Teil 302 der dreieckigen Projektionsfläche „8“ und der rechtwinklig-dreieckig geformte Teil 306 der dreieckigen Projektionsfläche „4“ jeweils verschoben und berühren die dreieckigen Projektionsflächen „5“ und „1“.
Der rechtwinklig-dreieckig geformte Teil 302 der dreieckigen Projektionsfläche „8“ weist drei Seiten S811, S812 und S83_1 auf, wobei die Seite S811 die Seite S81 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_1 ein erster Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist. Der rechtwinklig-dreieckig geformte Teil 304 der dreieckigen Projektionsfläche „8“ weist drei Seiten S821, S822 und S83_2 auf, wobei die Seite S821 die Seite S82 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_2 ein zweiter Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist.
Der rechtwinklig-dreieckig geformte Teil 306 der dreieckigen Projektionsfläche „4“ weist drei Seiten S421, S422 und S43_1 auf, wobei die Seite S421 die Seite S42 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_1 ein erster Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist. Der rechtwinklig-dreieckig geformte Teil 308 der dreieckigen Projektionsfläche „4“ weist drei Seiten S411, S412 und S43_2 auf, wobei die Seite S411 die Seite S41 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_2 ein zweiter Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist.
Gemäß der kompakten Oktaederprojektionsanordnung 310, berührt die Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ die Seite S73 der dreieckigen Projektionsfläche „7“, berührt die Seite S83_2 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ die Seite S43_2 des dreieckigrechtwinklig geformten Teils 308 der dreieckigen Projektionsfläche „4“, berührt die Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ die Seite S33 der dreieckigen Projektionsfläche „3“, berührt die Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ die Seite S53 der dreieckigen Projektionsfläche „5“, berührt die Seite S83_1 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ die Seite S43_1 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“, und berührt die Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ die Seite S13 der dreieckigen Projektionsfläche „1“.
Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S83_2 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S43_2 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“. Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S83_1 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S43_1 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“. Das heißt, ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „4“ und „8“ repräsentiert. Weiter existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“, und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“.
Wie in dem unteren Teil von 3 gezeigt, ist die 360-VR-Projektionsanordnung L_VR, die durch die kompakte Oktaederprojektionsanordnung 310 festgelegt ist, ein Rechteck ohne Leerbereiche (z.B. schwarze Bereiche oder weiße Bereiche). Zusätzlich wird ein Teil des 360-Grad-Bild/Video-Inhalts kontinuierlich in den dreieckigen Projektionsflächen „1“, „2“, „3“, „4“, „5“, „6“, „7“ ohne eine Bildinhaltsdiskontinuität repräsentiert. Einige Bildinhaltsdiskontinuitätskanten existierten jedoch noch unvermeidbar in der kompakten Oktaederprojektionsanordnung 310. Daher kann, wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte Oktaederprojektionsanordnung 310 festgelegt ist, die Bildqualität nah bei den Bildinhaltsdiskontinuitätskanten nach einer Komprimierung schlecht sein.
Wenn die in 2 gezeigten dreieckigen Projektionsflächen „1“-„8“ umsortiert und in die kompakte Oktaederprojektionsanordnung 310 gepackt werden, müssen einige dreieckige Projektionsflächen geteilt und verschoben werden, was somit in einer Bildinhaltsdiskontinuität des Äquators 208 in dem projektionsbasierten Rahmen IMG resultiert. Im Allgemeinen repräsentieren die oberen und unteren Bereiche der Kugel 202 gewöhnlich jeweils „Himmel“ und „Boden“, und sich bewegende Objekte in dem umgebenden Umfeld befinden sich meistens an dem Äquator 208 der Kugel 202. Wenn der Äquator 208, der in dem projektionsbasierten Rahmen IMG repräsentiert wird, eine Bildinhaltsdiskontinuität aufweist, werden die Codierungseffizienz und die Bildqualität dramatisch verschlechtert. Die Codierungseffizienz und die Bildqualität können verbessert werden, wenn der Äquator 208 der Kugel 202 entlang von Mitten der dreieckigen Projektionsflächen oder anderen Positionen als Seiten der dreieckigen Projektionsflächen abgebildet wird.
4 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaederprojektionsformats darstellt, welche von einer Oktaederprojektion einer Kugel gemäß einem rotierten Oktaeder erhalten werden. Der Rundum-Bild/Video-Inhalt der Kugel 202 wird auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) eines rotierten Oktaeders 404 abgebildet. Der in 4 gezeigte rotierte Oktaeder 404 kann durch Anwenden einer 90-Grad-Rotation auf den in 2 gezeigten Oktaeder 204 erhalten werden. Wie in 4 gezeigt, sind die dreieckigen Projektionsflächen „1“-„8“ in einer Oktaederprojektionsanordnung 406 gepackt. Eine Form jeder der dreieckigen Projektionsflächen „1“-„8“ ist ein gleichseitiges Dreieck. Für eine dreieckige Projektionsfläche „K“ (K = 1-8) weist diese Fläche drei Seiten auf, die als SK1, SK2 und SK3 gekennzeichnet sind. Die Kugel 202 ist aus einer linken Hemisphäre und einer rechten Hemisphäre aufgebaut. Die dreieckigen Projektionsflächen „1“, „2“, „3“ und „4“ sind alle von der rechten Hemisphäre abgeleitet, und die dreieckigen Projektionsflächen „5“, „6“, „7“ und „8“ sind alle von der linken Hemisphäre abgeleitet. Aufgrund einer Oktaederprojektion auf dem rotierten Oktaeder 404 wird der Äquator 208 der Kugel 202 nicht entlang einer Seite jeder dreieckigen Projektionsfläche abgebildet. In dieser Ausführungsform wird der Äquator 208 der Kugel 202 entlang von Mitten der dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ abgebildet, wie durch gestrichelte Linien in 4 angezeigt. Wie vorstehend erwähnt, muss der zu codierende projektionsbasierte Rahmen IMG rechteckig sein. Daher sollte eine kompakte Oktaederprojektionsanordnung von dem projektionsbasierten Rahmen IMG verwendet werden.
Es sei auf 4 in Verbindung mit 5 verwiesen. 5 ist ein Diagramm, das eine zweite kompakte Oktaederprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Äquator 208 der Kugel 202 wird entlang von Mitten der dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ abgebildet, wie durch gestrichelte Linien in 5 angezeigt. Die kompakte Oktaederprojektionsanordnung 510 wird von der Oktaederprojektionsanordnung 406 mit einer Dreieckprojektionsflächenrotation und einer Dreieckprojektionsflächenteilung abgeleitet. Wie in dem mittleren Teil von 5 gezeigt, wird die dreieckige Projektionsfläche „7“ in der Oktaederprojektionsanordnung 406 um 60° im Uhrzeigersinn rotiert, wird die dreieckige Projektionsfläche „5“ in der Oktaederprojektionsanordnung 406 um 60° gegen den Uhrzeigersinn rotiert, wird die dreieckige Projektionsfläche „3“ in der Oktaederprojektionsanordnung 406 um 60° gegen den Uhrzeigersinn rotiert, und wird die dreieckige Projektionsfläche „1“ in der Oktaederprojektionsanordnung 406 um 60° im Uhrzeigersinn rotiert. Daher berührt die Seite S72 der dreieckigen Projektionsfläche „7“ die Seite S61 der dreieckigen Projektionsfläche „6“, berührt die Seite S51 der dreieckigen Projektionsfläche „5“ die Seite S62 der dreieckigen Projektionsfläche „6“, berührt die Seite S31 der dreieckigen Projektionsfläche „3“ die Seite S22 der dreieckigen Projektionsfläche „2“, und berührt die Seite S12 der dreieckigen Projektionsfläche „1“ die Seite S21 der dreieckigen Projektionsfläche „2“.
Wie in dem mittleren Teil von 5 gezeigt, existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S72 der dreieckigen Projektionsfläche „7“ und der Seite S61 der dreieckigen Projektionsfläche „6“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „6“ und „7“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S51 der dreieckigen Projektionsfläche „5“ und der Seite S62 der dreieckigen Projektionsfläche „6“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „5“ und „6“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S31 der dreieckigen Projektionsfläche „3“ und der Seite S22 der dreieckigen Projektionsfläche „2“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „3“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S12 der dreieckigen Projektionsfläche „1“ und der Seite S21 der dreieckigen Projektionsfläche „2“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „1“ und „2“ repräsentiert), und existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S23 der dreieckigen Projektionsfläche „2“ und der Seite S63 der dreieckigen Projektionsfläche „6“ (d.h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „6“ repräsentiert).
Zusätzlich wird die dreieckige Projektionsfläche „4“ in der Oktaederprojektionsanordnung 406 in zwei rechtwinklig-dreieckig geformte Teile 502 und 504 geteilt, und die dreieckige Projektionsfläche „8“ in der Oktaederprojektionsanordnung 406 wird in zwei rechtwinklig-dreieckig geformte Teile 506 und 508 geteilt. Wie in dem rechten Teil von 5 gezeigt, berühren der rechtwinklig-dreieckig geformte Teil 504 der dreieckigen Projektionsfläche „4“ und der rechtwinklig-dreieckig geformte Teil 508 der dreieckigen Projektionsfläche „8“ jeweils die dreieckigen Projektionsflächen „1“ und „5“; und berühren der rechtwinklig-dreieckig geformte Teil 502 der dreieckigen Projektionsfläche „4“ und der rechtwinklig-dreieckig geformte Teil 506 der dreieckigen Projektionsfläche „8“ jeweils die dreieckigen Projektionsflächen „3“ und „7“.
Der rechtwinklig-dreieckig geformte Teil 502 der dreieckigen Projektionsfläche „4“ weist drei Seiten S411, S412 und S43_1 auf, wobei die Seite S411 die Seite S41 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_1 ein erster Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist. Der rechtwinklig-dreieckig geformte Teil 504 der dreieckigen Projektionsfläche „4“ weist drei Seiten S421, S422 und S43_2 auf, wobei die Seite S421 die Seite S42 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_2 ein zweiter Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist.
Der rechtwinklig-dreieckig geformte Teil 506 der dreieckigen Projektionsfläche „8“ weist drei Seiten S821, S822 und S83_1 auf, wobei die Seite S821 die Seite S82 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_1 ein erster Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist. Der rechtwinklig-dreieckig geformte Teil 508 der dreieckigen Projektionsfläche „8“ weist drei Seiten S811, S812 und S83_2 auf, wobei die Seite S811 die Seite S81 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_2 ein zweiter Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist.
Gemäß der kompakten Oktaederprojektionsanordnung 510 berührt die Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ die Seite S13 der dreieckigen Projektionsfläche „1“, berührt die Seite S43_2 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ die Seite S83_2 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“, berührt die Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ die Seite S53 der dreieckigen Projektionsfläche „5“, berührt die Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ die Seite S33 der dreieckigen Projektionsfläche „3“, berührt die Seite S43_1 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ die Seite S83_1 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“, und berührt die Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ die Seite S73 der dreieckigen Projektionsfläche „7“.
Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S43_2 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S83_2 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“. Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S43_1 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S83_1 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“. Das heißt, ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „4“ und „8“ repräsentiert. Weiter existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“.
In dem rechten Teil von 5 ist die 360-VR-Projektionsanordnung L_VR, die durch eine Form der kompakten Oktaederprojektionsanordnung 510 angeordnet ist, ein Rechteck ohne Leerbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche). Zusätzlich wird ein Teil des 360-Grad-Bild/Video-Inhalts kontinuierlich ohne eine Bildinhaltsdiskontinuität in den dreieckigen Projektionsflächen „1“, „2“, „3“, „5“, „6“, „7“ repräsentiert. Weiter weist der Äquator 208, der durch die dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ in dem projektionsbasierten Bild IMG (welches die kompakte Oktaederprojektionsanordnung 510 verwendet) repräsentiert wird, keine Bildinhaltsdiskontinuität auf, die von einer Dreieckprojektionsflächenteilung resultiert. Einige Bildinhaltsdiskontinuitätskanten existieren jedoch noch unvermeidlich in der kompakten Oktaederprojektionsanordnung 510. Daher kann, wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte Oktaederprojektionsanordnung 510 festgelegt ist, die Bildqualität nah an den Bildinhaltsdiskontinuitätskanten nach einer Komprimierung schlecht sein.
Um das vorstehend genannte Bildqualitätsverschlechterungsproblem zu adressieren, schlägt die vorliegende Erfindung eine innovative 360-VR-Projaktionsanordnungsauslegung mit einer Auffüllung vor, welche in der Lage ist, die Bildqualität an Kanten einer (von) Projektionsfläche(n) nach einer Komprimierung zu verbessern. Zum Beispiel kann die 360-VR-Projaktionsanordnung L_VR durch eine kompakte Würfelabbildungsanordnung mit einer Auffüllung oder eine kompakte Oktaederanordnung mit einer Auffüllung festgelegt sein. Insbesondere empfängt die Konvertierungsschaltung 114 einen Rundum-Bild/Video-Inhalt der Kugel 202 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von Projektionsflächen von dem Rundum-Bild/Video-Inhalt der Kugel 202, wobei der Rundum-Bild/Video-Inhalt der Kugel 202 über eine ausgewählte 360-VR-Projektion (z.B. eine Würfelabbildungsprojektion oder eine Oktaederprojektion) auf die Projektionsflächen abgebildet wird. Wie in 1 gezeigt, weist die Konvertierungsschaltung 114 eine Auffüllschaltung 115 auf, welche eingerichtet ist, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in die 360-VR-Projektionsanordnung L_VR (z.B. eine kompakte Würfelabbildungsanordnung mit einer Auffüllung oder eine kompakte Oktaederanordnung mit einer Auffüllung).
Zum Beispiel weisen die in der 360-VR-Projektionsanordnung L_VR gepackten Projektionsflächen eine erste Projektionsfläche und eine zweite Projektionsfläche auf, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer ersten Seite der ersten Projektionsfläche und einer ersten Seite der zweiten Projektionsfläche gibt, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt. Der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung L_VR gepackt ist, weist einen ersten Auffüllbereich auf, wobei der erste Auffüllbereich die erste Seite der ersten Projektionsfläche und die erste Seite der zweiten Projektionsfläche berührt, um die erste Seite der ersten Projektionsfläche von der ersten Seite der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung L_VR zu isolieren. Der erste Auffüllbereich ist absichtlich eingefügt, um mehr Informationen für einen Komprimierungsvorgang bereitzustellen. Auf diese Weise kann die Bildqualität der ersten Seite der ersten Projektionsfläche und der ersten Seite der zweiten Projektionsfläche nach einer Komprimierung verbessert werden.
6 ist ein Diagramm, das eine erste kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 6 gezeigte kompakte Oktaederprojektionsanordnung 310' festgelegt sein. Die kompakte Oktaederprojektionsanordnung 310' kann von der in 3 gezeigten kompakten Oktaederprojektionsanordnung 310 abgeleitet werden. Hinsichtlich der in 3 gezeigten kompakten Oktaederprojektionsanordnung 310 existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“, und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“. Wie in 6 gezeigt, ist ein erster Auffüllbereich PR_1 eingefügt, sodass er die Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S42 der Projektionsfläche „4“ ist) und die Seite S13 der Projektionsfläche „1“ berührt, ist ein zweiter Auffüllbereich PR_2 eingefügt, sodass er die Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S41 der Projektionsfläche „4“ ist) und die Seite S33 der Projektionsfläche „3“ berührt, ist ein dritter Auffüllbereich PR_3 eingefügt, sodass er die Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S81 der Projektionsfläche „8“ ist) und die Seite S53 der Projektionsfläche „5“ berührt, und ist ein vierter Auffüllbereich PR_4 eingefügt, sodass er die Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S82 der Projektionsfläche „8“ ist) und die Seite S73 der Projektionsfläche „7“ berührt. Angenommen, dass die Breite jedes Auffüllbereichs D ist, und die in 3 gezeigte kompakte Oktaederprojektionsanordnung 310 eine Breite W und eine Höhe H aufweist, dann weist die in 6 gezeigte kompakte Oktaederprojektionsanordnung 310' eine Breite W+2D und eine Höhe H auf. Zum Beispiel kann die Breite jedes Auffüllbereichs D 16 Pixel sein.
7 ist ein Diagramm, das eine zweite kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 7 gezeigte kompakte Oktaederprojektionsanordnung 510' festgelegt sein. Die kompakte Oktaederprojektionsanordnung 510' kann von der in 5 gezeigten kompakten Oktaederprojektionsanordnung 510 abgeleitet werden. Hinsichtlich der in 5 gezeigten kompakten Oktaederprojektionsanordnung 510 existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“, und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“. Wie in 7 gezeigt, ist ein erster Auffüllbereich PR_1 eingefügt, sodass er die Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S42 der Projektionsfläche „4“ ist) und die Seite S13 der Projektionsfläche „1“ berührt, ist ein zweiter Auffüllbereich PR_2 eingefügt, sodass er die Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S41 der Projektionsfläche „4“ ist) und die Seite S33 der Projektionsfläche „3“ berührt, ist ein dritter Auffüllbereich PR_3 eingefügt, sodass er die Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S81 der Projektionsfläche „8“ ist) und die Seite S53 der Projektionsfläche „5“ berührt, und ist ein vierter Auffüllbereich PR_4 eingefügt, sodass er die Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S82 der Projektionsfläche „8“ ist) und die Seite S73 der Projektionsfläche „7“ berührt. Angenommen, dass die Höhe jedes Auffüllbereichs D ist und die in 5 gezeigte kompakte Oktaederprojektionsanordnung 510 eine Breite W und eine Höhe H aufweist, dann weist die in 7 gezeigte kompakte Oktaederprojektionsanordnung 510' eine Breite W und eine Höhe H+2D auf. Zum Beispiel kann die Höhe jedes Auffüllbereichs D 16 Pixel sein.
In einer beispielhaften Auffüllimplementierung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch eine Interpolation fest, welche auf Pixelwerten von Pixeln basiert, die in benachbarten Projektionsflächen, die den Auffüllbereich berühren, enthalten sind. Hinsichtlich jeder der in 6 gezeigten kompakten Oktaederprojektionsanordnung 310' und der in 7 gezeigten kompakten Oktaederprojektionsanordnung 510' werden Pixelwerte von Pixeln, die in dem ersten Auffüllbereich PR_1 enthalten sind, durch eine Interpolation erhalten, welche auf Pixelwerten von Pixeln basiert, die in den benachbarten Projektionsflächen „1“ und „4“ enthalten sind, werden Pixelwerte von Pixeln, die in dem zweiten Auffüllbereich PR_2 enthalten sind, durch eine Interpolation erhalten, welche auf Pixelwerten von Pixeln basiert, die in den benachbarten Projektionsflächen „3“ und „4“ enthalten sind, werden Pixelwerte von Pixeln, die in dem dritten Auffüllbereich PR_3 enthalten sind, durch eine Interpolation erhalten, welche auf Pixelwerten von Pixeln basiert, die in den benachbarten Projektionsflächen „3“ und „5“ enthalten sind, und werden Pixelwerte von Pixeln, die in dem vierten Auffüllbereich PR_4 enthalten sind, durch eine Interpolation erhalten, welche auf Pixelwerten von Pixeln basiert, die in den benachbarten Projektionsflächen „7“ und „8“ enthalten sind.
Die eingesetzte Interpolation kann eine Nächster-Nachbar-Interpolation, eine lineare Interpolation, eine bilineare Interpolation oder ein anderer geeigneter Interpolationsalgorithmus sein. Die Abtastpunkte, die durch die eingesetzte Interpolation verwendet werden, können von einer einzelnen Richtung oder von unterschiedlichen Richtungen erhalten werden. 8 ist ein Diagramm, das Beispiele einer Interpolation darstellt, die durch eine in 1 gezeigte Auffüllschaltung 115 ausgeführt wird. Ein Auffüllbereich PR muss zwischen benachbarten Projektionsflächen A1 und A2, welche von einer ausgewählten 360-VR-Projektion einer Kugel erhalten werden, eingefügt werden, wobei eine Bildinhaltsdiskontinuitätskante zwischen den benachbarten Projektionsflächen A1 und A2 existiert, wenn die Projektionsfläche A1 die Projektionsfläche A2 berührt. Wie in dem Unterdiagramm (A) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d.h., Pixel) P1 und P2 ausgeführt, die von den in der vertikalen Richtung benachbarten Projektionsflächen A1 und A2 erhalten werden. Daher wird ein interpolierter Abtastpunkt (d.h., ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte P1 und P2, einem Abstand zwischen dem Abtastpunkt P1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt P2 und dem interpolierten Abtastpunkt S bestimmt.
Wie in dem Unterdiagramm (B) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d.h., Pixel) Q1 und Q2 ausgeführt, die von den in der horizontalen Richtung benachbarten Projektionsflächen A1 und A2 erhalten werden. Daher wird ein interpolierter Abtastpunkt (d.h., ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte Q1 und Q2, einem Abstand zwischen dem Abtastpunkt Q1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt Q2 und dem interpolierten Abtastpunkt S bestimmt.
Wie in dem Unterdiagramm (C) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d.h., Pixel) P1 und P2, die von den in der vertikalen Richtung benachbarten Projektionsflächen A1 und A2 erhalten werden, und Abtastpunkte (d.h., Pixel) Q1 und Q2, die von den in der horizontalen Richtung benachbarten Projektionsflächen A1 und A2 erhalten werden, ausgeführt. Daher wird ein interpolierter Abtastpunkt (d.h., ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte P1, P2, Q1 und Q2, einem Abstand zwischen dem Abtastpunkt P1 und dem interpolierten Abtastpunkt S, einem Abstand zwischen dem Abtastpunkt P2 und dem interpolierten Abtastpunkt S, einem Abstand zwischen dem Abtastpunkt Q1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt Q2 und dem interpolierten Abtastpunkt S bestimmt.
In einer anderen beispielhaften Auffüllimplementierung wendet die Auffüllschaltung 115 eine erste Geometrieauffüllung auf eine der benachbarten Projektionsflächen an, um erste Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, wendet eine zweite Geometrieauffüllung auf die andere der benachbarten Projektionsflächen an, um zweite Pixelwerte der Pixel zu bestimmen, die in dem Auffüllbereich enthalten sind, und legt Pixelwerte von Pixeln, die in dem Auffüllbereich enthalten sind, durch ein Mischen der ersten Pixelwerte, die von der ersten Geometrieauffüllung hergeleitet sind, und der zweiten Pixelwerte, die von der zweiten Geometrieauffüllung hergeleitet sind, fest. 9 ist ein Diagramm, das ein Beispiel einer Geometrieauffüllung darstellt, die durch die in 1 gezeigte Auffüllschaltung 115 ausgeführt wird. Ein Auffüllbereich PR muss zwischen benachbarten Projektionsflächen A1 und A2 eingefügt werden, welche über eine ausgewählte 360-VR-Projektion einer Kugel erhalten werden, wobei eine Bildinhaltsdiskontinuitätskante zwischen den benachbarten Projektionsflächen A1 und A2 existiert, wenn die Projektionsfläche A1 die Projektionsfläche A2 berührt. Die erste Geometrieauffüllung, die auf die Projektionsfläche A1 angewendet wird, bestimmt einen Geometrieabbildungsbereich A1_GP, wobei der Geometrieabbildungsbereich A1_GP von einem Abbilden des Inhalts eines Bereichs auf einer Kugel (z.B. die in 2/4 gezeigte Kugel 202) auf den Auffüllbereich PR erhalten wird, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Projektionsfläche A1 erhalten wird. Daher gibt es eine Bildinhaltskontinuitätsgrenze zwischen der Projektionsfläche A1 und dem Geometrieabbildungsbereich A1_GP, der sich von der Projektionsfläche A1 erstreckt (d.h., ein Inhalt wird kontinuierlich in der Projektionsfläche A1 und dem Geometrieabbildungsbereich A1_GP repräsentiert).
Die zweite Geometrieauffüllung, die auf die Projektionsfläche A2 angewendet wird, bestimmt einen anderen Geometrieabbildungsbereich A2_GP, wobei der Geometrieabbildungsbereich A2_GP von einem Abbilden des Inhalts eines Bereichs auf einer Kugel (z.B. die in 2/4 gezeigte Kugel 202) auf den Auffüllbereich PR erhalten wird, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Projektionsfläche A2 erhalten wird. Daher gibt es eine Bildinhaltskontinuitätsgrenze zwischen der Projektionsfläche A2 und dem Geometrieabbildungsbereich A2_GP, der sich von der Projektionsfläche A2 erstreckt (d.h., ein Inhalt wird kontinuierlich in der Projektionsfläche A2 und dem Geometrieabbildungsbereich A2_GP repräsentiert).
Nachdem die Geometrieabbildungsbereiche A1_GP und A2_GP, die zu dem gleichen Auffüllbereich PR gehören, erhalten sind, mischt die Auffüllschaltung 115 die Geometrieabbildungsbereiche A1_GP und A2_GP, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR enthalten sind. Das heißt, PR = f(A1_GP, A2_GP), wobei f() eine Mischfunktion ist. Zum Beispiel kann die Mischfunktion f() eine Mittelwertfunktion sein. Hinsichtlich jedes Pixels in dem Auffüllbereich PR wird ein Pixelwert des Pixels in dem Auffüllbereich PR durch einen Mittelwert eines ersten Pixelwerts des Pixels in dem Geometrieabbildungsbereich A1_GP und eines zweiten Pixelwerts des Pixels in dem Geometrieabbildungsbereich A2_GP festgelegt.
In noch einer anderen beispielhaften Auffüllimplementierung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln fest, die in benachbarten Projektionsflächen enthalten sind, welche von einer ausgewählten 360-VR-Projektion einer Kugel erhalten werden. Zum Beispiel werden Randpixel an einer Seite der Projektionsfläche A1 dupliziert, um Auffüllpixel, die sich von der Seite der Projektionsfläche A1 erstrecken, zu erzeugen, und werden Randpixel an einer Seite der Projektionsfläche A2 dupliziert, um Auffüllpixel, die sich von der Seite der Projektionsfläche A2 erstrecken, zu erzeugen. Mit anderen Worten enthält ein erster Teil des Auffüllbereichs PR Auffüllpixel, die jeweils ein Duplikat eines Randpixels der Projektionsfläche A1 sind, und enthält ein zweiter Teil des Auffüllbereichs PR Auffüllpixel, die jeweils ein Duplikat eines Randpixels der Projektionsfläche A2 sind.
Mit Hilfe eines Auffüllbereichs, der zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche eingefügt ist, welche eine Bildinhaltsdiskontinuitätskante zwischen einer ersten Seite der ersten Projektionsfläche und einer ersten Seite der zweiten Projektionsfläche aufweisen, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt, können die Bildqualität der ersten Seite der ersten Projektionsfläche nach einer Komprimierung und die Bildqualität der ersten Seite der zweiten Projektionsfläche nach einer Komprimierung verbessert werden. Die Projektionsflächen, die in dem decodierten Rahmen IMG' enthalten sind, der durch die Decodierungsschaltung 122 generiert wird, können eine bessere Bildqualität aufweisen. Wie vorstehend erwähnt, gibt die Graphikwiedergabeschaltung 124 Ausgangsbilddaten gemäß dem decodierten Rahmen IMG' wieder und zeigt sie auf dem Anzeigeschirm 126 an. Da der (die) Auffüllbereich(e) in dem decodierten Rahmen IMG' zusätzlich hinzugefügt worden sind und nicht anzeigbar sein können, möge(n) der (die) Auffüllbereich(e) in dem decodierten Rahmen IMG' durch die Graphikwiedergabeschaltung 124 verworfen/ignoriert werden, nachdem der decodierte Rahmen IMG' von der Decodierungsschaltung 122 generiert worden ist.
Wie in 6 und 7 gezeigt, wird eine Auffüllung zu kompakten Oktaederprojektionsanordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Bildinhaltsdiskontinuitätskanten hinzugefügt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In der Praxis kann eine Auffüllung zu anderen 360-VR-Projekltionsanordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Bildinhaltsdiskontinuitätskanten hinzugefügt werden. Diese alternativen Projektionsauslegungen mit einer Auffüllung fallen alle in den Gültigkeitsumfang der vorliegenden Erfindung.
10 ist ein Diagramm, das eine kompakte Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild/Video-Inhalt einer Kugel wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet, wobei die quadratischen Projektionsflächen eine linke Projektionsfläche, gekennzeichnet durch „L“, eine vordere Projektionsfläche, gekennzeichnet durch „FR“, eine rechte Projektionsfläche, gekennzeichnet durch „R“, eine obere Projektionsfläche, genkennzeichnet durch „T“, eine hintere Projektionsfläche, gekennzeichnet durch „BK“ und eine untere Projektionsfläche, gekennzeichnet durch „B“, aufweisen. Eine Bildinhaltdiskontinuitätskante existiert zwischen der linken Projektionsfläche „L“ und der unteren Projektionsfläche „B“, wenn die untere Seite der linken Projektionsfläche „L“ die obere Seite der unteren Projektionsfläche „B“ in einer kompakten Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltdiskontinuitätskante existiert zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK, wenn die untere Seite der vorderen Projektionsfläche FR die obere Seite der hinteren Projektionsfläche BK in der kompakten Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltdiskontinuitätskante existiert zwischen der rechten Projektionsfläche R und der oberen Projektionsfläche T, wenn die untere Seite der rechten Projektionsfläche R die obere Seite der oberen Projektionsfläche T in der kompakten Würfelprojektionsanordnung ohne Auffüllung berührt. Gemäß der in 10 gezeigten kompakten Würfelabbildungsprojektionsanordnung 1002 wird ein erster Auffüllbereich PR_1 zwischen der linken Projektionsfläche L und der oberen Projektionsfläche T eingefügt, wird ein zweiter Auffüllbereich PR_2 zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK eingefügt, und wird ein dritter Auffüllbereich PR_3 zwischen der rechten Projektionsfläche R und der unteren Projektionsfläche B eingefügt. Jeder der Auffüllbereiche PR_1-PR_3 kann durch Verwenden einer der vorstehend genannten Interpolationsart, Geometrieauffüllart und Duplizierungsart generiert werden.
Zum Beispiel kann die Duplizierungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Randpixel einer Projektionsfläche streuen. Daher weist ein erster Teil eines Auffüllbereichs, der zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche eingefügt ist, Auffüllpixel auf, die jeweils ein Duplikat eines Randpixels der ersten Projektionsfläche sind, und weist ein zweiter Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist, Auffüllpixel auf, die jeweils ein Duplikat eines Randpixels der zweiten Projektionsfläche sind.
Als ein anderes Beispiel kann die Duplizierungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Pixelwerte von Pixeln, die in dem Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln festlegen, welche in der ersten Projektionsfläche und der zweiten Projektionsfläche enthalten sind, aber den Auffüllbereich, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist, nicht berühren. In einem Fall, in welchem die Duplizierungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, ein Duplikat eines Teilbereichs in einer Projektionsfläche erhält. Ein erster Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist, ist ein Duplikat eines Teilbereichs der ersten Projektionsfläche, und ein zweiter Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist, ist ein Duplikat eines Teilbereichs der zweiten Projektionsfläche, wobei keiner des Teilbereichs der ersten Projektionsfläche und des Teilbereichs der zweiten Projektionsfläche den Auffüllbereich berührt, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist.
Als noch ein anderes Beispiel kann die Duplizierungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Pixelwerte von Pixeln, die in dem Auffüllbereich enthalten sind, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt ist, durch ein Duplizieren von Pixelwerten von Pixeln festlegen, die in mindestens einer Projektionsfläche enthalten sind, die zu der ersten Projektionsfläche und der zweiten Projektionsfläche verschieden ist. Die in 10 gezeigte kompakte Würfelabbildungsprojektionsanordnung 1002 als Beispiel nehmend kann der erste Auffüllbereich PR_1, der zwischen der linken Projektionsfläche L und der unteren Projektionsfläche B eingefügt ist, durch ein Duplizieren von Pixeln (z.B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z.B. FR, BK, R und/oder T), welche keine der linken Projektionsfläche L und der unteren Projektionsfläche B ist, festgelegt werden, kann der zweite Auffüllbereich PR_2, der zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK eingefügt ist, durch ein Duplizieren von Pixeln (z.B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z.B. L, B, R und/oder T), welche keine der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK ist, festgelegt werden, und/oder kann der dritte Auffüllbereich PR_3, der zwischen der rechten Projektionsfläche R und der oberen Projektionsfläche T eingefügt ist, durch ein Duplizieren von Pixeln (z.B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z.B. L, B, FR, und/oder BK), welche keine der rechten Projektionsfläche R und der oberen Projektionsfläche T ist, festgelegt werden.
11 ist ein Diagramm, das eine dritte kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild/Video-Inhalt einer Kugel wird über eine Oktaederprojektion auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) abgebildet. Die dreieckige Projektionsfläche „8“ wird in zwei rechtwinklig-dreieckig geformte Teile geteilt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen einem rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ und der dreieckigen Projektionsfläche „1“, wenn eine Seite des rechtwinklig-dreieckig geformten Teils eine Seite der dreieckigen Projektionsfläche „1“ in einer kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „1“ und „5“, wenn eine andere Seite der Projektionsfläche „1“ eine Seite der dreieckigen Projektionsfläche „5“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „5“ und „2“, wenn eine andere Seite der dreieckigen Projektionsfläche „5“ eine Seite der dreieckigen Projektionsfläche „2“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „2“ und „6“, wenn eine andere Seite der dreieckigen Projektionsfläche „2“ eine Seite der dreieckigen Projektionsfläche „6“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „6“ und „3“, wenn eine andere Seite der Projektionsfläche „6“ eine Seite der dreieckigen Projektionsfläche „3“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „3“ und „7“, wenn eine andere Seite der dreieckigen Projektionsfläche „3“ eine Seite der dreieckigen Projektionsfläche „7“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „7“ und „4“, wenn eine andere Seite der Projektionsfläche „7“ eine Seite der dreieckigen Projektionsfläche „4“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen dem anderen rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ und der dreieckigen Projektionsfläche „4“, wenn eine Seite des rechtwinklig-dreieckig geformten Teils eine andere Seite der dreieckigen Projektionsfläche „4“ in der kompakten Oktaederprojektionsanordnung ohne Auffüllung berührt.
Gemäß der in 11 gezeigten kompakten Oktaederprojektionsanordnung 1102 wird ein erster Auffüllbereich PR_1 zwischen der dreieckigen Projektionsfläche „1“ und einem rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ eingefügt, wird ein zweiter Auffüllbereich PR_2 zwischen den dreieckigen Projektionsflächen „1“ und „5“ eingefügt, wird ein dritter Auffüllbereich PR_3 zwischen den dreieckigen Projektionsflächen „5“ und „2“ eingefügt, wird ein vierter Auffüllbereich PR_4 zwischen den dreieckigen Projektionsflächen „2“ und „6“ eingefügt, wird ein fünfter Auffüllbereich PR_5 zwischen den dreieckigen Projektionsflächen „6“ und „3“ eingefügt, wird ein sechster Auffüllbereich PR_6 zwischen den dreieckigen Projektionsflächen „3“ und „7“ eingefügt, wird ein siebter Auffüllbereich PR_7 zwischen den dreieckigen Projektionsflächen „7“ und „4“ eingefügt, und wird ein achter Auffüllbereich PR_8 zwischen der dreieckigen Projektionsfläche „4“ und dem anderen rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ eingefügt. Jeder der Auffüllbereiche PR_1-PR_8 kann unter Verwendung einer der vorstehend genannten Interpolationsart, Geometrieauffüllart und Duplizierungsart generiert werden.
Zusätzlich zu der Bildqualität von Bildinhaltsdiskontinuitätskanten nach einer Komprimierung kann die Bildqualität von Anordnungsrändern nach einer Komprimierung durch die vorgeschlagene Auffülltechnik verbessert werden. Zum Beispiel wird, wenn der Rundum-Bild/Video-Inhalt einer Kugel über eine Äquirektangularprojektion (ERP) oder eine gleichflächige Projektion (EAP) abgebildet wird, nur eine einzelne Projektionsfläche generiert und in einer ERP/EAP-Anordnung angeordnet. Wenn ein Betrachtungswinkel eines Viewports 180 Grad ist, werden ein decodierter Teilbereich, der sich an einem linken Rand der ERP/EAP-Anordnung befindet, und ein decodierter Teilbereich, der sich an einem rechten Rand der ERP/EAP-Anordnung befindet, ausgewählt und kombiniert, um einen anzuzeigenden Viewport-Bereich zu bilden. Da Blöcke an dem linken Rand und Blöcke an dem rechen Rand der typischen ERP/EAP-Anordnung unabhängig codiert werden, ist es möglich, dass der Viewport-Bereich Artefakte entlang einer Kante aufweist, die von einer Kombination des decodierten Teilbereichs, der sich an dem linken Rand der ERP/EAP-Anordnung befindet, und des decodierten Teilbereichs, der sich an dem rechten Rand der ERP/EAP-Anordnung befindet, resultieren. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung weiter ein Hinzufügen von Auffüllbereichen zu Anordnungsrändern vor, um mehr Informationen für einen Komprimierungsprozess bereitzustellen.
12 ist ein Diagramm, das eine erste ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_R ist in einer ERP/EAP-Anordnung 1202 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP/EAP-Anordnung 1202. Zusätzlich weist die Projektionsfläche A in der ERP/EAP-Anordnung 1202 einen ersten Teilbereich P_L und einen zweiten Teilbereich P_R auf, wobei der erste Teilbereich P_L Randpixel an der linken Seite S_L aufweist, und der zweite Teilbereich P_R Randpixel an der rechten Seite S_R aufweist. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 12 gezeigte ERP/EAP-Anordnung 1202' festgelegt sein. Die ERP/EAP-Anordnung 1202' kann von der ERP/EAP-Anordnung 1202 abgeleitet werden. Die Projektionsfläche A wird über eine Äquirektangularprojektion/gleichflächige Projektion einer Kugel erhalten. Die Projektionsfläche A, ein erster Auffüllbereich PR_L und ein zweiter Auffüllbereich PR_R sind in der ERP/EAP-Anordnung 1202' gepackt. Wie in 12 gezeigt, berührt der erste Auffüllbereich PR_L die linke Seite S_L der Projektionsfläche A und bildet einen linken Rand der ERP/EAP-Anordnung 1202', und berührt der zweite Auffüllbereich PR_R die rechte Seite S_R der Projektionsfläche A und bildet einen rechten Rand der ERP/EAP-Anordnung 1202'. Zum Beispiel kann die Breite des ersten Auffüllbereichs PR_L 8 Pixel sein, und die Breite des zweiten Auffüllbereichs PR_R kann 8 Pixel sein. Da die linke Seite S_L und die rechte Seite S_R der Projektionsfläche A gegenüberliegende Seiten sind, berührt der erste Auffüllbereich PR_L nicht die rechte Seite S_R der Projektionsfläche A, und berührt der zweite Auffüllbereich PR_R nicht die linke Seite S_L der Projektionsfläche A.
In dieser Ausführungsform ist der erste Auffüllbereich PR_L ein Duplikat des zweiten Teilbereichs P_R der Projektionsfläche A, und der zweite Auffüllbereich PR_R ist ein Duplikat des ersten Teilbereichs P_L der Projektionsfläche A. Daher weisen Pixel des ersten Auffüllbereichs PR_L Randpixel an der rechten Seite S_R der Projektionsfläche A auf, aber weisen keine Randpixel an der linken Seite S_L der Projektionsfläche A auf; und Pixel des zweiten Auffüllbereichs PR_R weisen Randpixel an der linken Seite S_L der Projektionsfläche A auf, aber weisen keine Randpixel an der rechten Seite S_R der Projektionsfläche A auf. Aufgrund von vorgegebenen Eigenschaften der Äquirektangularprojektion/gleichflächigen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich PR_L und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1202' gepackt sind (d.h., ein Inhalt wird kontinuierlich in der Projektionsfläche A und dem ersten Auffüllbereich PR_L repräsentiert), und gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich PR_R und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1202' gepackt sind (d.h., ein Inhalt wird kontinuierlich in der Projektionsfläche A und dem zweiten Auffüllbereich PR_R repräsentiert).
Zusätzlich zu Auffüllbereichen, welche zu einer linken Seite und einer rechten Seite einer Projektionsfläche, die über eine Äquirektangularprojektion/gleichflächige Projektion erhalten wird, hinzugefügt werden, können Auffüllbereiche zu einer oberen Seite und einer unteren Seite der Projektionsfläche hinzugefügt werden, um mehr Informationen für einen Komprimierungsprozess bereitzustellen.
13 ist ein Diagramm, das eine zweite ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_R ist in einer ERP/EAP-Anordnung 1302 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP/EAP-Anordnung 1302. Zusätzlich weist die Projektionsfläche A in der ERP/EAP-Anordnung 1302 eine Mehrzahl von Bildbereichen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) auf. Die Bildbereiche „1“-„3“ bilden einen Teilbereich und weisen Randpixel an der oberen Seite S_T auf. Die Bildbereiche „3“-„5“ bilden einen Teilbereich und weisen Randpixel an der rechten Seite S_R auf. Die Bildbereiche „5“-„7“ bilden einen Teilbereich und weisen Randpixel an der unteren Seite S_B auf. Die Bildbereiche „1“, „8“ und „7“ bilden einen Teilbereich und weisen Randpixel an der linken Seite S_L auf.
Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 13 gezeigte ERP/EAP-Anordnung 1302' festgelegt sein. Die ERP/EAP-Anordnung 1302' kann von der ERP/EAP-Anordnung 1302 abgeleitet werden. Die Projektionsfläche A wird über eine Äquirektangularprojektion/gleichflächige Projektion einer Kugel erhalten. Wie in 13 gezeigt, wird ein erster Auffüllbereich, der die linke Seite S_L der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „3“-„5“ der Projektionsfläche A generiert, wird ein zweiter Auffüllbereich, der die rechte Seite S_R der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „1“, „8“ und „7“ der Projektionsfläche A generiert, wird ein dritter Auffüllbereich, der die obere Seite S_T der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „1“-„3“ der Projektionsfläche A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich umzudrehen, und wird ein vierter Auffüllbereich, der die untere Seite S_B der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „5“-„7“ der Projektionsfläche A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich umzudrehen.
Um zu erreichen, dass eine Form der ERP/EAP-Anordnung 1302' ein Rechteck wird, wird ein oberer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „3“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich umzudrehen, wird ein oberer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „1“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich umzudrehen, wird ein unterer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „5“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich umzudrehen, und wird ein unterer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „7“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich umzudrehen.
Aufgrund von inhärenten Eigenschaften der Äquirektangularprojektion/gleichflächigen Projektion existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen linken Eckauffüllbereich und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen linken Eckauffüllbereich und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen rechten Eckauffüllbereich und dem zweiten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen rechten Eckauffüllbereich und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren linken Eckauffüllbereich und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren linken Eckauffüllbereich und dem vierten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren rechten Eckauffüllbereich und dem zweiten Auffüllbereich, und existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren rechten Eckauffüllbereich und dem vierten Auffüllbereich.
Wie in 13 gezeigt, bildet der erste Auffüllbereich, der die linke Seite S_L der Projektionsfläche A berührt, einen Teil eines linken Rands der ERP/EAP-Anordnung 1302', bildet der zweite Auffüllbereich, der die rechte Seite S_R der Projektionsfläche A berührt, einen Teil eines rechten Rands der ERP/EAP-Anordnung 1302', bildet der dritte Auffüllbereich, der die obere Seite S_T der Projektionsfläche A berührt, einen Teil eines oberen Rands der ERP/EAP-Anordnung 1302', und bildet der vierte Auffüllbereich, der die untere Seite S_B der Projektionsfläche A berührt, einen Teil eines unteren Rands der ERP/EAP-Anordnung 1302'. Aufgrund von inhärenten Eigenschaften der Äquirektangularprojektion/gleichflächigen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1302' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem ersten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1302' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem zweiten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem dritten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1302' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem dritten Auffüllbereich und der Projektionsfläche A repräsentiert), und gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem vierten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1302' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem vierten Auffüllbereich und der Projektionsfläche A repräsentiert).
14 ist ein Diagramm, das eine dritte ERP/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_R ist in einer ERP/EAP-Anordnung 1402 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP/EAP-Anordnung 1402. Zusätzlich weist die Projektionsfläche A in der ERP/EAP-Anordnung 1402 eine Mehrzahl von Bildbereichen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) auf. Die Bildbereiche „1“-„3“ bilden einen Teilbereich und weisen Randpixel an der oberen Seite S_T auf. Die Bildbereiche „3“-„5“ bilden einen Teilbereich und weisen Randpixel an der rechten Seite S_R auf. Die Bildbereiche „5“-„7“ bilden einen Teilbereich und weisen Randpixel an der unteren Seite S_B auf. Die Bildbereiche „7“-„8“ und „1“ bilden einen Teilbereich und weisen Randpixel an der linken Seite S_L auf.
Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 14 gezeigte ERP/EAP-Anordnung 1402' festgelegt sein. Die ERP/EAP-Anordnung 1402' kann von der typischen ERP/EAP-Anordnung 1402 abgeleitet werden. Die Projektionsfläche A wird über eine Äquirektangularprojektion/gleichflächige Projektion einer Kugel erhalten. Wie in 14 gezeigt, wird ein erster Auffüllbereich, der die linke Seite S_L der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „3“-„5“ der Projektionsfläche A generiert, wird ein zweiter Auffüllbereich, der die rechte Seite S_R der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „1“, „8“ und „7“ der Projektionsfläche A generiert, wird ein dritter Auffüllbereich, der die obere Seite S_T der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „1“-„3“ der Projektionsfläche A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren, und wird ein vierter Auffüllbereich, der die untere Seite S_B der Projektionsfläche A berührt, durch ein Duplizieren der Bildbereiche „5“-„7“ der Projektionsfläche A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren.
Um zu erreichen, dass eine Form der ERP/EAP-Anordnung 1402' ein Rechteck wird, wird ein oberer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „1“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren, wird ein oberer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „3“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren, wird ein unterer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „7“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren, und wird ein unterer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „5“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren.
Aufgrund von inhärenten Eigenschaften der Äquirektangularprojektion/gleichflächigen Projektion existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen linken Eckauffüllbereich und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen linken Eckauffüllbereich und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen rechten Eckauffüllbereich und dem zweiten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem oberen rechten Eckauffüllbereich und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren linken Eckauffüllbereich und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren linken Eckauffüllbereich und dem vierten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren rechten Eckauffüllbereich und dem zweiten Auffüllbereich, und existiert eine Bildinhaltskontinuitätsgrenze zwischen dem unteren rechten Eckauffüllbereich und dem vierten Auffüllbereich.
Wie in 14 gezeigt, bildet der erste Auffüllbereich, der die linke Seite S_L der Projektionsfläche A berührt, einen Teil eines linken Rands der ERP/EAP-Anordnung 1402', bildet der zweite Auffüllbereich, der die rechte Seite S_R der Projektionsfläche A berührt, einen Teil eines rechten Rands der ERP/EAP-Anordnung 1402', bildet der dritte Auffüllbereich, der die obere Seite S_T der Projektionsfläche A berührt, einen Teil eines oberen Rands der ERP/EAP-Anordnung 1402', und bildet der vierte Auffüllbereich, der die untere Seite S_B der Projektionsfläche A berührt, einen Teil eines unteren Rands der ERP/EAP-Anordnung 1402'. Aufgrund von inhärenten Eigenschaften der Äquirektangularprojektion/gleichflächigen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1402' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem ersten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1402' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem zweiten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem dritten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1402' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem dritten Auffüllbereich und der Projektionsfläche A repräsentiert), und gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem vierten Auffüllbereich und der Projektionsfläche A, die in der ERP/EAP-Anordnung 1402' gepackt sind (d.h., ein Inhalt wird kontinuierlich in dem vierten Auffüllbereich und der Projektionsfläche A repräsentiert).
Wie in 12-14 gezeigt, wird eine Auffüllung zu ERP/EAP-Anordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Anordnungsrändern hinzugefügt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In der Praxis kann eine Auffüllung zu anderen 360-VR-Projektionsanordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Anordnungsrändern hinzugefügt werden. Diese alternativen Projektionsauslegungen mit einer Auffüllung fallen alle in den Schutzumfang der vorliegenden Erfindung.
15 ist ein Diagramm, das eine Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 16 ist ein Diagramm, das eine Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 17 ist ein Diagramm, das eine vierte kompakte Oktaederprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 18 ist ein Diagramm, das eine kompakte Würfelabbildungsprojektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Auffüllbereiche, die in der Projektionsanordnung 1502/1602/1702/1802 gepackt sind, können durch die vorstehend genannte Geometrieauffüllart generiert werden, welche eine Geometrieauffüllung auf eine Projektionsfläche anwendet, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, der die Projektionsfläche berührt, oder können durch die vorstehend genannte Duplizierungsart generiert werden, welche Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, der eine Projektionsfläche berührt, durch ein Duplizieren von Pixelwerten von Randpixeln der Projektionsfläche oder durch ein Duplizieren von Pixelwerten von Pixeln, welche in der Projektionsfläche enthalten sind aber den Auffüllbereich nicht berühren, oder durch ein Duplizieren von Pixelwerten von Pixeln, welche nicht in der Projektionsfläche enthalten sind, festlegt.
Es sollte beachtet werden, dass die vorstehend genannten Anordnungsbeispiele nur darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. In anderen Ausführungsformen der vorliegenden Erfindung kann eine 360-VR-Projektionsanordnung mit einer Auffüllung durch ein Hinzufügen von Auffüllbereichen zu einer Anordnung eines anderen Projektionsformats, wie einer Pyramidenprojektionsanordnung, einer Tetraederprojektionsanordnung, einer tetragon-quarzbasierten Projektionsanordnung, einer Ikosaederprojektionsanordnung oder einer hexagonquarz-basierten Projektionsanordnung erhalten werden.
Mit Hilfe von Auffüllbereichen, die zu Rändern einer Projektionsanordnung hinzugefügt werden, kann die Bildqualität von Rändern nach einer Komprimierung verbessert werden. Wie vorstehend erwähnt, gibt die Graphikwiedergabeschaltung 124 Ausgangsbilddaten gemäß dem decodierten Rahmen IMG' wieder und zeigt sie auf dem Anzeigeschirm 126 an. Da die Auffüllbereiche in dem decodierten Rahmen IMG' zusätzlich hinzugefügt sind und nicht anzeigbar sein können, können die Auffüllbereiche in dem decodierten Rahmen IMG' von der Graphikwiedergabeschaltung 124 verworfen/ignoriert werden, nachdem der decodierte Rahmen IMG' von der Decodierungsschaltung 122 generiert worden ist.
19 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 100 und 1900 ist, dass eine Konvertierungsschaltung 1914 einer Quellenelektronikvorrichtung 1902 eine Wiederabtastschaltung 1915 aufweist, die eingerichtet ist, eine vorgeschlagene codiererseitige Projektionsflächenwiederabtastfunktion auszuführen, um die Abtastdichte (oder die Abtastrate) zu regulieren. Zum Beispiel kann die codiererseitige Projektionsflächenwiederabtastfunktion ein Down-Sampling auf eine Projektionsfläche vor einem Codieren anwenden. Als ein anderes Beispiel kann die codiererseitige Projektionsflächenwiederabtastfunktion ein Up-Sampling auf eine Projektionsfläche vor einem Codieren anwenden. Als noch ein anderes Beispiel kann die codiererseitige Projektionsflächenwiederabtastfunktion ein erneutes Abtasten ohne eine Größenänderung auf eine Projektionsfläche vor einem Codieren anwenden.
In einigen Ausführungsformen der vorliegenden Erfindung ist die 360-VR-Projektionsanordnung L_VR eine Würfelabbildungsprojektionsanordnung, welche eine nichtviewport-basierte Projektionsanordnung ist. Daher erhält die Konvertierungsschaltung 1914 quadratische Projektionsflächen von einem Rundum-Bild/Video-Inhalt einer Kugel, wobei der Rundum-Bild/Video-Inhalt der Kugel über eine Würfelabbildungsprojektion (CMP) auf die quadratischen Projektionsflächen abgebildet wird. 20 ist ein Diagramm, das sechs quadratische Projektionsflächen einer Würfelabbildungsprojektions- (CMP-) Anordnung darstellt, die von einer Würfelabbildungsprojektion einer Kugel erhalten werden. Ein Rundum-Bild/Video-Inhalt einer Kugel 2002 wird auf sechs quadratische Projektionsflächen (gekennzeichnet durch „L“, „F“, „R“, „BK“, „T“ und „B“) eines Würfels 2004 abgebildet. Die quadratische Projektionsfläche „L“ bedeutet eine linke Fläche des Würfels 2004. Die quadratische Projektionsfläche „F“ bedeutet eine vordere Fläche des Würfels 2004. Die quadratische Projektionsfläche „R“ bedeutet eine rechte Fläche des Würfels 2004. Die quadratische Projektionsfläche „BK“ bedeutet eine hintere Fläche des Würfels 2004. Die quadratische Projektionsfläche „T“ bedeutet eine obere Fläche des Würfels 2004. Die quadratische Projektionsfläche „B“ bedeutet eine untere Fläche des Würfels 2004. Wie in 20 gezeigt, sind die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ in einer CMP-Anordnung 2006 angeordnet, die zu einem entfalteten Würfel korrespondiert. Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die CMP-Anordnung 2006 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, muss der projektionsbasierte Rahmen IMG mit Leerbereichen (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) gefüllt werden, um einen rechteckigen Rahmen zum Codieren zu bilden. Daher können die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ in eine andere CMP-Anordnung, wie eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung gepackt werden. Auf diese Weise kann die Codierungseffizienz verbessert werden.
Eine oder mehrere der quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ können durch die Wiederabtastschaltung 1915 verarbeitet werden, bevor sie in die 360-VR-Projektionsanordnung L_VR gepackt werden, welche eine CMP-Anordnung (z.B. eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung) ist. Zum Beispiel erhält die Wiederabtastschaltung 1915 eine erneut abgetastete Projektionsfläche durch ein Wiederabtasten mindestens eines Teils (d.h., ein Teil oder alles) einer quadratischen Projektionsfläche durch die vorgeschlagene codiererseitige Projektionsflächenwiederabtastfunktion. Die Konvertierungsschaltung 1914 generiert den projektionsbasierten Rahmen IMG gemäß der eingesetzten CMP-Anordnung (z.B. eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung), wobei der projektionsbasierte Rahmen IMG eine oder mehrere erneut abgetastete Projektionsflächen aufweist, die in der eingesetzten CMP-Anordnung gepackt sind. Die codiererseitige Projektionsflächenwiederabtastfunktion kann eine Wiederabtastfunktion mit einer ungleichförmigen Abbildung oder eine Wiederabtastfunktion mit einer gleichförmigen Abbildung sein, abhängig von den tatsächlichen Auslegungsüberlegungen. Weitere Details einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung werden wie folgt beschrieben.
Es sei auf 21 in Verbindung mit 22 verwiesen. 21 ist ein Diagramm, das ein Beispiel einer Widerabtastung einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine gleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 22 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine erneut abzutastende quadratische Projektionsfläche 2102 kann eine der quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“, „B“ sein, die in 20 gezeigt sind. In diesem Beispiel wird eine quadratische Projektionsfläche 2104 von einem Down-Sampling der quadratischen Projektionsfläche 2102 in ihrer Höhenrichtung und Breitenrichtung hergeleitet, wobei die quadratische Projektionsfläche 2102 eine Breite w und eine Höhe h (h = w) aufweist, und die quadratische Projektionsfläche 2104 eine Breite W und eine Höhe H (W = H < h) aufweist. Das heißt, ein Down-Sampling von einer Höhe h zu einer Höhe H wird durch eine gleichförmige Abbildung ausgeführt, und ein Down-Sampling von einer Breite w zu einer Breite W wird ebenfalls durch eine gleichförmige Abbildung ausgeführt. Als Beispiel aber nicht als Einschränkung wird die gleiche gleichförmige Abbildungsfunktion auf die Breitenrichtung (d.h., die x-Achsenrichtung) und die Höhenrichtung (d.h., die y-Achsenrichtung) angewendet. Zum Beispiel können die gleichförmigen Abbildungsfunktionen in unterschiedlichen Richtungen unter Verwendung der nachfolgenden Formeln ausgedrückt werden. $Y = f (y) = \frac{H}{h} * y$
$X = f (x) = \frac{W}{w} * x$
Daher kann hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 2104 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate y einer y-Achse in der quadratischen Projektionsfläche 2102 befindet, von der gleichförmigen Abbildungsfunktion, die in der Formel (1) ausgedrückt ist, bestimmt werden. Aufgrund der gleichförmigen Abbildung in der Höhenrichtung sind zwei vertikal benachbarte Abtastpunkte in der quadratischen Projektionsfläche 2102 gleichmäßig mit einem konstanten Abstand D verteilt. Ähnlich kann hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 2104 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate x einer x-Achse in der quadratischen Projektionsfläche 2102 befindet, von der gleichförmigen Abbildungsfunktion, die in der Formel (2) ausgedrückt ist, bestimmt werden. Aufgrund der gleichförmigen Abbildung in der Breitenrichtung sind zwei horizontal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 2102 gleichmäßig mit einem konstanten Abstand D' verteilt. Der Pixelwert einer Position P in der quadratischen Projektionsfläche 2104 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' hergeleitet, die in der quadratischen Projektionsfläche 2102 gemäß den Formeln (1) und (2) gefunden wird.
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 2102 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsenkoordinate x und einer y-Achsenkoordinate y eines Abtastpunkts in der quadratischen Projektionsfläche 2102 eine nichtganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 1914 (insbesondere der Wiederabtastschaltung 1915) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 2102 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
Um mehr Details für einen bestimmten Bereich innerhalb einer Projektionsfläche zu bewahren, schlägt die vorliegende Erfindung weiter ein Wiederabtasten einer quadratischen Projektionsfläche vor, die durch eine Würfelabbildungsprojektion durch eine ungleichförmige Abbildung erhalten wird. 23 ist ein Diagramm, das ein erstes Beispiel eines Wiederabtastens einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine ungleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine erneut abzutastende quadratische Projektionsfläche 2302 kann eine der quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“, „B“ sein, die in 20 gezeigt sind. In diesem Beispiel wird eine quadratische Projektionsfläche 2304 von einem Down-Sampling der quadratischen Projektionsfläche 2302 in ihrer Höhenrichtung (d.h., eine y-Achsenrichtung) und Breitenrichtung (d.h., eine x-Achsenrichtung) hergeleitet, wobei die quadratische Projektionsfläche 2302 eine Breite w und eine Höhe h (h = w) aufweist, und die quadratische Projektionsfläche 2304 eine Breite W und eine Höhe H (W = H < h) aufweist.
Hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate einer y-Achse in der quadratischen rechteckigen Projektionsfläche 2304 befindet, kann ein korrespondierender Abtastpunkt, der sich bei einer Koordinate einer y-Achse in der quadratischen Projektionsfläche 2302 befindet, von einer ungleichförmigen Abbildungsfunktion bestimmt werden. Wie in 23 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3 und D4 sein, wobei D4 > D3 > D2 > D1. Insbesondere sind die Abtastpunkte in der Höhenrichtung der quadratischen Projektionsfläche 2302 ungleichmäßig verteilt. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 2322 der quadratischen Projektionsfläche 2304 durch ein Wiederabtasten eines ersten Quellenbereichs 2312 der quadratischen Projektionsfläche 2302 erhalten, und werden Pixel in einem zweiten erneut abgetasteten Bereich 2324 der quadratischen Projektionsfläche 2304 durch ein Wiederabtasten des zweiten Quellenbereichs 2314 der quadratischen Projektionsfläche 2302 erhalten. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellenbereich 2312 erhalten werden, zu der Dichte von Abtastpunkten, die von dem zweiten Quellenbereich 2314 erhalten werden, verschieden. Mit anderen Worten werden unterschiedliche Abtastraten in der Höhenrichtung der quadratischen Projektionsfläche 2302 verwendet. Der erste erneut abgetastete Bereich 2322 wird von einem Wiederabtasten des ersten Quellenbereichs 2312 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) in der Höhenrichtung hergeleitet, und der zweite erneut abgetastete Bereich 2324 wird von einem Wiederabtasten des zweiten Quellenbereichs 2314 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) in der Höhenrichtung hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) zu der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
Ähnlich kann hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate einer x-Achse der quadratischen Projektionsfläche 2304 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate einer x-Achse in der quadratischen Projektionsfläche 2302 befindet, von einer ungleichförmigen Abbildungsfunktion bestimmt werden. Wie in 23 gezeigt, ist der Abstand zwischen zwei horizontal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei horizontal benachbarten Abtastpunkten einer von D1', D2', D3' und D4' sein, wobei D4' > D3' > D2' > D1'. Insbesondere sind die Abtastpunkte in der Breitenrichtung der Projektionsfläche 2302 ungleichmäßig verteilt. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 2326 der quadratischen Projektionsfläche 2304 durch ein Wiederabtasten eines ersten Quellenbereichs 2316 der quadratischen Projektionsfläche 2302 erhalten, und werden Pixel in einem zweiten erneut abgetasteten Bereich 2328 der quadratischen Projektionsfläche 2304 durch ein Wiederabtasten des zweiten Quellenbereichs 2318 der quadratischen Projektionsfläche 2302 erhalten. Aufgrund der ungleichförmigen Abbildung in der Breitenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellenbereich 2316 erhalten werden, zu der Dichte von Abtastpunkten, die von dem zweiten Quellenbereich 2316 erhalten werden, verschieden. Mit anderen Worten werden unterschiedliche Abtastraten in der Breitenrichtung der quadratischen Projektionsfläche 2302 verwendet. Der erste erneut abgetastete Bereich 2326 wird von einem Wiederabtasten des ersten Quellenbereichs 2316 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) in der Breitenrichtung hergeleitet, und der zweite erneut abgetastete Bereich 2328 wird von einem Wiederabtasten des zweiten Quellenbereichs 2318 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) in der Breitenrichtung hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) zu der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
Der Pixelwert einer Position P in der quadratischen Projektionsfläche 2304 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' hergeleitet, die gemäß ungleichförmigen Abbildungsfunktionen, die in der x-Achsenrichtung und der y-Achsenrichtung verwendet werden, in der quadratischen Projektionsfläche 2302 gefunden wird. Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 2302 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsenkoordinate x und einer y-Achsenkoordinate y eines Abtastpunkts in der quadratischen Projektionsfläche 2302 eine nichtganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 1914 (insbesondere in der Wiederabtastschaltung 1915) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 2302 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
In diesem Beispiel umfasst die ungleichförmige Abbildung, die auf die quadratische Projektionsfläche 2302 angewendet wird, eine erste ungleichförmige Abbildungsfunktion, die für ein Wiederabtasten mindestens eines Teils (d.h., ein Teil oder alles) der quadratischen Projektionsfläche 2302 in einer ersten Richtung (z.B. eine einer Breitenrichtung und einer Höhenrichtung) eingesetzt wird, und eine zweite ungleichförmige Abbildungsfunktion, die für ein Wiederabtasten mindestens eines Teils (d.h., ein Teil oder alles) der quadratischen Projektionsfläche 2302 in einer zweiten Richtung (z.B. die andere der Breitenrichtung und der Höhenrichtung) eingesetzt wird. In einer beispielhaften Auslegung kann die erste ungleichförmige Abbildungsfunktion die gleiche sein wie die zweite ungleichförmige Abbildungsfunktion. Das heißt, die erste Richtung und die zweite Richtung (z.B. eine Breitenrichtung und eine Höhenrichtung) können die gleiche ungleichförmige Abbildungskurve verwenden. In einer anderen beispielhaften Auslegung kann die erste ungleichförmige Abbildungsfunktion zu der zweiten ungleichförmigen Abbildungsfunktion verschieden sein. Das heißt, die erste Richtung und die zweite Richtung (z.B. eine Breitenrichtung und eine Höhenrichtung) können unterschiedliche ungleichförmige Abbildungskurven verwenden.
In dem in 23 gezeigten Beispiel wird eine erneut abgetastete quadratische Projektionsfläche von einem Anwenden eines Down-Sampling auf eine ursprüngliche quadratische Projektionsfläche durch eine ungleichförmige Abbildung hergeleitet. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann eine erneut abgetastete quadratische Projektionsfläche von einem Anwenden eines Up-Sampling auf eine ursprüngliche quadratische Projektionsfläche durch eine ungleichförmige Abbildung hergeleitet werden, oder kann von einem Anwenden eines Wiederabtastens ohne eine Größenänderung auf eine ursprüngliche quadratische Projektionsfläche durch eine ungleichförmige Abbildung hergeleitet werden. 24 ist ein Diagramm, das ein zweites Beispiel eines Wiederabtastens einer quadratischen Projektionsfläche, die durch die Würfelabbildungsprojektion durch eine ungleichförmige Abbildung erhalten wird, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine erneut abzutastende quadratische Projektionsfläche 2402 kann eine der in 20 gezeigten quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“, „B“ sein. In diesem Beispiel wird ein Wiederabtasten ohne eine Größenänderung eingesetzt. Daher wird eine quadratische Projektionsfläche 2404 von einem Wiederabtasten der quadratischen Projektionsfläche 2402 in ihrer Höhenrichtung (d.h., y-Achsenrichtung) und Breitenrichtung (d.h., x-Achsenrichtung) hergeleitet, wobei die quadratische Projektionsfläche 2302 eine Breite w und eine Höhe h (h = w) aufweist, und die quadratische Projektionsfläche 2304 eine Breite W und eine Höhe H (W = H = h) aufweist. Hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate einer y-Achse in der quadratischen rechteckigen Projektionsfläche 2404 befindet, kann ein korrespondierender Abtastpunkt, der sich bei einer Koordinate einer y-Achse in der quadratischen Projektionsfläche 2402 befindet, von einer ungleichförmigen Abbildungsfunktion in der y-Achsenrichtung bestimmt werden. Hinsichtlich einer ganzzahligen Pixelposition, die sich bei einer Koordinate einer x-Achse in der quadratischen rechteckigen Projektionsfläche 2404 befindet, kann ein korrespondierender Abtastpunkt, der sich bei einer Koordinate einer x-Achse in der quadratischen Projektionsfläche 2402 befindet, von einer ungleichförmigen Abbildungsfunktion in der x-Achsenrichtung bestimmt werden, wobei die ungleichförmige Abbildungsfunktion, die in der x-Achsenrichtung verwendet wird, identisch zu oder verschieden zu der ungleichförmigen Abbildungsfunktion, die in der y-Achsenrichtung verwendet wird, sein kann.
In der Praxis kann eine ungleichförmige Abbildungsfunktion unter Verwendung jeder nicht-fallenden Funktion, die durch (0, 0) und (1, 1) verläuft, implementiert werden. Das heißt, eine Kurve der nicht-fallenden ungleichförmigen Abbildungsfunktion beginnt bei (0, 0) und endet bei (1, 1). Zum Beispiel kann die ungleichförmige Abbildungsfunktion eine stückweiselineare Funktion, eine Exponentialfunktion, eine Quadratische-Gleichungsfunktion oder eine andere Funktion sein. 25 ist ein Diagramm, das eine Kurve einer ersten ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 26 ist ein Diagramm, das eine Kurve einer zweiten ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die in 25-26 gezeigten ungleichförmigen Abbildungskurven dienen nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein.
Es sei ein Fall in Betracht gezogen, in welchem die ungleichförmige Abbildungsfunktion durch eine Quadratische-Gleichungsfunktion festgelegt ist. Die Quadratische-Gleichungsfunktion kann als f(p) = A*p²+B*p definiert sein, wobei A+B=1, p eine Pixelposition innerhalb einer quadratischen Quellenprojektionsfläche in einer ausgewählten Richtung (z.B. eine x-Achsenrichtung oder eine y-Achsenrichtung) repräsentiert, und f(p) eine Pixelposition innerhalb einer erneut abgetasteten quadratischen Projektionsfläche in der ausgewählten Richtung repräsentiert. Basierend auf experimentellen Ergebnissen kann A durch -0,385 festgelegt werden, und kann B durch 1,385 festgelegt werden, um zu erreichen, dass die ungleichförmige Abbildungsfunktion eine beste Bjontegaard-Delta-Rate (BD-Rate) aufweist.
Weiter sind die ungleichförmigen Abbildungsfunktionen, die auf unterschiedliche quadratische Projektionsflächen angewendet werden, die durch die Würfelabbildungsprojektion erhalten werden, nicht notwendigerweise die gleichen. Zum Beispiel erhält die Wiederabtastschaltung 1915 eine erste erneut abgetastete Projektionsfläche durch ein Wiederabtasten mindestens eines Teils (d.h., ein Teil oder alles) einer ersten quadratischen Projektionsfläche (z.B. eine der in 20 gezeigten quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“) durch eine ungleichförmige Abbildung, und erhält eine zweite erneut abgetastete Projektionsfläche durch ein Wiederabtasten mindestens eines Teils (d.h., ein Teil oder alles) einer zweiten Projektionsfläche (z.B. eine andere der in 20 gezeigten quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“) durch eine ungleichförmige Abbildung, wobei der projektionsbasierte Rahmen IMG die erste erneut abgetastete Projektionsfläche und die zweite erneut abgetastete Projektionsfläche aufweist, die in der 360-VR-Projektionsanordnung L_VR gepackt sind, welche eine CMP-Anordnung ist, und mindestens eine ungleichförmige Abbildungsfunktion (z.B. eine ungleichförmige Abbildungsfunktion in einer Breitenrichtung und/oder eine ungleichförmige Abbildungsfunktion in einer Höhenrichtung), die von einer Wiederabtastung der ersten Projektionsfläche verwendet wird, ist zu mindestens einer ungleichförmigen Abbildungsfunktion (z.B. eine ungleichförmige Abbildungsfunktion in einer Breitenrichtung und/oder eine ungleichförmige Abbildungsfunktion in einer Höhenrichtung), die von einer Wiederabtastung der zweiten Projektionsfläche verwendet wird, verschieden.
27 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 1900 und 2700 ist, dass eine Konvertierungsschaltung 2714 einer Quellenelektronikvorrichtung 2702 eine Wiederabtastschaltung 2715 und eine Auffüllschaltung 2716 aufweist. Wie die in 19 gezeigte Wiederabtastschaltung 1915 ist die Wiederabtastschaltung 2715 eingerichtet, eine vorgeschlagene codiererseitige Projektionsflächenwiederabtastfunktion auszuführen, um die Abtastdichte (oder die Abtastrate) zu regulieren. Wie die in 1 gezeigte Auffüllschaltung 115 ist die Auffüllschaltung 2716 eingerichtet, mindestens einen Auffüllbereich für eine Artefaktreduzierung zu generieren. Die Konvertierungsschaltung 2714 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen von erneut abgetasteten Projektionsflächen und mindestens eines Auffüllbereichs in eine Projektionsanordnung mit einer Auffüllung. Zum Beispiel ist die 360-VR-Projektionsanordnung L_VR eine CMP-Anordnung mit einer Auffüllung.
Hinsichtlich der in 19 gezeigten Ausführungsform werden erneut abgetastete quadratische Projektionsflächen in eine CMP-Anordnung ohne Auffüllung, wie eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung gepackt. Der projektionsbasierte Rahmen IMG nach einer Codierung kann jedoch aufgrund von diskontinuierlichen Anordnungsrändern der CMP-Anordnung und/oder diskontinuierlichen Kanten der CMP-Anordnung Artefakte aufweisen. Zum Beispiel weist die CMP-Anordnung ohne Auffüllung einen oberen diskontinuierlichen Rand, einen unteren diskontinuierlichen Rand, einen linken diskontinuierlichen Rand und einen rechten diskontinuierlichen Rand auf. Zusätzlich gibt es mindestens eine Bildinhaltsdiskontinuitätskante zwischen zwei benachbarten erneut abgetasteten quadratischen Projektionsflächen, die in der CMP-Anordnung ohne Auffüllung gepackt sind. Um Anordnungsränder, diskontinuierliche Kanten und/oder Übergänge von Abtastraten herum können zusätzliche Schutzbereiche, die durch eine Pixelauffüllung generiert werden, zum Reduzieren der Übergangsartefakte eingefügt werden.
In einer ersten beispielhaften Schutzbereichsauslegung kann eine Pixelauffüllung nur an diskontinuierlichen Kanten hinzugefügt werden. 28 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 28 stellt eine vorgeschlagene 3x2-Würfelanordnung mit einer Kantenauffüllung 2802 dar. Die erneut abgetasteten quadratischen Projektionsflächen sind durch „0“, „1“, „2“, „3“, „4“ und „5“ gekennzeichnet. Zum Beispiel wird die erneut abgetastete Projektionsfläche „0“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „F“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „1“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „L“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „2“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „R“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „3“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „BK“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „4“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „T“ generiert, und wird die erneut abgetastete quadratische Projektionsfläche „5“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „B“ generiert.
Eine Bildinhaltsdiskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“, wenn die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „0“ und „3“, wenn die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“, wenn die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Gemäß der vorgeschlagenen 3x2-Würfelprojektionsanordnung mit einer Auffüllung 2802 wird ein Auffüllbereich PR_DE1 zwischen den erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“ eingefügt, wird ein Auffüllbereich PR_DE2 zwischen den erneut abgetasteten quadratischen Projektionsflächen „0“ und „3“ eingefügt, und wird ein Auffüllbereich PR_DE3 zwischen den erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“ eingefügt.
Der erste Auffüllbereich PR_DE1 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“ auf, und isoliert deshalb die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ von der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ in der Projektionsanordnung 2802. Der zweite Auffüllbereich PR_DE2 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ auf, und isoliert deshalb die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ von der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in der Projektionsanordnung 2802. Der dritte Auffüllbereich PR_DE3 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf, und isoliert deshalb die untere Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ von der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in der Projektionsanordnung 2802. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite jedes Auffüllbereichs PR_DE1/PR_DE2/PR_DE3 gleich 2*S_GB. Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
Das Unterdiagramm (B) von 28 stellt eine vorgeschlagene 6x1-Würfelanordnung mit einer Kantenauffüllung 2804 dar. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „2“ und „4“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung berührt. Gemäß der vorgeschlagenen 6x1-Würfelprojektionsanordnung mit einer Auffüllung 2804 wird ein Auffüllbereich PR_DE zwischen den erneut abgetasteten quadratischen Projektionsflächen „2“ und „4“ eingefügt. Der Auffüllbereich PR_DE weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“ auf, und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ in der Projektionsanordnung 2804. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite des Auffüllbereichs PR_DE gleich 2*S_GB. Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
In einer zweiten beispielhaften Schutzbereichsauslegung kann eine Auffüllung an Anordnungsrändern und diskontinuierlichen Kanten hinzugefügt werden. 29 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 29 stellt eine vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2902 dar. Wenn die erneut abgetasteten quadratischen Projektionsflächen „0“, „1“, „2“, „3“, „4“ und „5“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung gepackt sind, bilden obere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“ und „2“ einen oberen diskontinuierlichen Rand, bilden untere Seiten der erneut abgetasteten quadratischen Projektionsflächen „4“, „3“ und „5“ einen unteren diskontinuierlichen Rand, bilden linke Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“ einen linken diskontinuierlichen Rand, und bilden rechte Seiten der erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“ einen rechten diskontinuierlichen Rand. Die vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2902 kann von einem Hinzufügen einer Randauffüllung zu der vorgeschlagenen 3x2-Würfelanordnung mit einer Kantenauffüllung 2802 abgeleitet werden. Daher weist die vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2902 zusätzlich zu den Auffüllbereichen PR_DE1, PR_DE2, PR_DE3 an diskontinuierlichen Kanten weiter einen oberen Auffüllbereich PR_T, welcher obere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“ und „2“ berührt, einen unteren Auffüllbereich PR_B, welcher untere Seiten der erneut abgetasteten quadratischen Projektionsflächen „4“, „3“ und „5“ berührt, einen linken Auffüllbereich PR_L, welcher linke Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“ berührt, und einen rechten Auffüllbereich PR_R, welcher rechte Seiten der erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“ berührt, auf.
Der obere Auffüllbereich PR_T weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ auf. Der untere Auffüllbereich PR_B weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf. Der linke Auffüllbereich PR_L weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“ auf. Der rechte Auffüllbereich PR_R weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite jedes Randauffüllbereichs PR_T/PR_B/PR_L/PR_R gleich S_GB . Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
Das Unterdiagramm (B) von 29 stellt eine vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2904 dar. Wenn die erneut abgetasteten Projektionsflächen „0“, „1“, „2“, „3“, „4“ und „5“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung gepackt sind, bilden obere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“, „2“, „4“, „3“ und „5“ einen oberen diskontinuierlichen Rand, bilden untere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“, „2“, „4“, „3“ und „5“ einen unteren diskontinuierlichen Rand, bildet eine linke Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ einen linken diskontinuierlichen Rand, und bildet eine rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ einen rechten diskontinuierlichen Rand. Die vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2904 kann von einem Hinzufügen einer Randauffüllung zu der vorgeschlagenen 6x1-Würfelanordnung mit einer Kantenauffüllung 2804 hergeleitet werden. Daher weist die vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2904 zusätzlich zu dem Auffüllbereich PR_DE an der diskontinuierlichen Kante weiter einen oberen Auffüllbereich PR_T, welcher obere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“, „2“, „4“, „3“ und „5“ berührt, einen unteren Auffüllbereich PR_B, welcher untere Seiten der erneut abgetasteten quadratischen Projektionsflächen „1“, „0“, „2“, „4“, „3“ und „5“ berührt, einen linken Auffüllbereich PR_L, welcher die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ berührt, und einen rechten Auffüllbereich PR_R, welcher die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ berührt, auf.
Der obere Auffüllbereich PR_T weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf. Der untere Auffüllbereich PR_B weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“, einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf. Der linke Auffüllbereich PR_L weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ auf. Der rechte Auffüllbereich PR_R weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite jedes Randauffüllbereichs PR_T/PR_B/PR_L/PR_R gleich S_GB . Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
In einer dritten beispielhaften Schutzbereichsauslegung kann eine Auffüllung an Anordnungsrändern und diskontinuierlichen Kanten und kontinuierlichen Kanten hinzugefügt werden. 30 ist ein Diagramm, das andere Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 30 stellt eine andere vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3002 dar. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „1“ und „0“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „0“ und „2“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „4“ und „3“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „3“ und „5“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung berührt. Die vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3002 kann von einem Hinzufügen von mehr Auffüllung zu der vorgeschlagenen 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2902 hergeleitet werden. Daher weist die vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3002 zusätzlich zu den Auffüllbereichen PR_DE1, PR_DE2, PR_DE3 an diskontinuierlichen Kanten und den Auffüllbereichen PR_T, PR_B, PR_L, PR_R an diskontinuierlichen Rändern weiter einen Auffüllbereich PR_CE1, der die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ berührt, einen Auffüllbereich PR_CE2, der die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ berührt, einen Auffüllbereich PR_CE3, der die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ berührt, und einen Auffüllbereich PR_CE4, der die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ berührt, auf.
Der Auffüllbereich PR_CE1 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ in der Projektionsanordnung 3002. Der Auffüllbereich PR_CE2 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ in der Projektionsanordnung 3002. Der Auffüllbereich PR_CE3 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in der Projektionsanordnung 3002. Der Auffüllbereich PR_CE4 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in der Projektionsanordnung 3002. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite jedes Auffüllbereichs PR_CE1/PR_CE2/PR_CE3/PR_CE4 gleich 2*S_GB . Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
Das Unterdiagramm (B) von 30 stellt eine andere vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3004 dar. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „1“ und „0“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „0“ und „2“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „4“ und „3“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltskontinuitätskante existiert zwischen den erneut abgetasteten quadratischen Projektionsflächen „3“ und „5“, wenn die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung berührt.
Die vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3004 kann von einem Hinzufügen von mehr Auffüllung zu der vorgeschlagenen 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2904 hergeleitet werden. Daher weist die vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 3004 zusätzlich zu dem Auffüllbereich PR_DE an der diskontinuierlichen Kante und Auffüllbereichen PR_T, PR_B, PR_L, PR_R an den diskontinuierlichen Rändern weiter einen Auffüllbereich PR_CE1, welcher die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ berührt, einen Auffüllbereich PR_CE2, welcher die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ berührt, einen Auffüllbereich PR_CE3, welcher die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ berührt, und einen Auffüllbereich PR_CE4, welcher die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ und die linke Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ berührt, auf.
Der Auffüllbereich PR_CE1 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ in der Projektionsanordnung 3004. Der Auffüllbereich PR_CE2 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ in der Projektionsanordnung 3004. Der Auffüllbereich PR_CE3 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „4“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „4“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ in der Projektionsanordnung 3004. Der Auffüllbereich PR_CE4 weist einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „3“ und einen Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „5“ auf und isoliert deshalb die rechte Seite der erneut abgetasteten quadratischen Projektionsfläche „3“ von der linken Seite der erneut abgetasteten quadratischen Projektionsfläche „5“ in der Projektionsanordnung 3004. Jeder der Schutzbereiche weist eine Schutzbereichsgröße S_GB auf. Daher ist die Breite jedes Auffüllbereichs PR_CE1/PR_CE2/PR_CE3/PR_CE4 gleich 2*S_GB. Zum Beispiel kann die Schutzbereichsgröße S_GB 8 Pixel in einer Breite sein. Es sollte beachtet werden, dass die Schutzbereichsgröße S_GB einstellbar sein kann. Alternativ kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein.
In einer ersten beispielhaften Auffüllauslegung wendet die Auffüllschaltung 2716 eine Geometrieauffüllung auf eine Projektionsfläche an, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich (z.B. einer von PR_DE, PR_DE1-PR_DE3, PR_T, PR_B, PR_L, PR_R und PR_CE1-PR_CE4) enthalten sind, welcher die Projektionsfläche berührt. Den in dem Unterdiagramm (A) von 29 gezeigten Auffüllbereich PR_T als Beispiel nehmend weist er einen linken Geometrieabbildungsbereich, einen mittleren Geometrieabbildungsbereich und einen rechten Geometrieabbildungsbereich auf, wobei der linke Geometrieabbildungsbereich als ein Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ fungiert, der mittlere Geometrieabbildungsbereich als ein Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ fungiert und der rechte Geometrieabbildungsbereich als ein Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ fungiert. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 20 gezeigte Kugel 2002) wird auf den linken Geometrieabbildungsbereich des Auffüllbereichs PR_T abgebildet, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „L“ erhalten wird, und die erneut abgetastete quadratische Projektionsfläche „1“ wird von einem Anwenden einer ungleichförmigen Abbildung auf die quadratische Projektionsfläche „L“ erhalten. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 20 gezeigte Kugel 2002) wird auf den mittleren Geometrieabbildungsbereich des Auffüllbereichs PR_T abgebildet, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „F“ erhalten wird, und die erneut abgetastete quadratische Projektionsfläche „0“ wird von einem Anwenden einer ungleichförmigen Abbildung auf die quadratische Projektionsfläche „F“ erhalten. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 20 gezeigte Kugel 2002) wird auf den rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T abgebildet, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „R“ erhalten wird, und die erneut abgetastete quadratische Projektionsfläche „2“ wird von einem Anwenden einer ungleichförmigen Abbildung auf die quadratische Projektionsfläche „R“ erhalten. Daher gibt es eine Bildinhaltskontinuität zwischen der erneut abgetasteten quadratischen Projektionsfläche „1“ und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_T, gibt es eine Bildinhaltskontinuität zwischen der erneut abgetasteten quadratischen Projektionsfläche „0“ und dem mittleren Geometrieabbildungsbereich des Auffüllbereichs PR_T, und gibt es eine Bildinhaltskontinuität zwischen der erneut abgetasteten quadratischen Projektionsfläche „2“ und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T. Das heißt, ein Inhalt wird kontinuierlich in der erneut abgetasteten quadratischen Projektionsfläche „1“ und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_T repräsentiert, ein Inhalt wird kontinuierlich in der erneut abgetasteten quadratischen Projektionsfläche „0“ und dem mittleren Geometrieabbildungsbereich des Auffüllbereichs PR_T repräsentiert, und ein Inhalt wird kontinuierlich in der erneut abgetasteten quadratischen Projektionsfläche „2“ und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T repräsentiert.
In einer zweiten beispielhaften Auffüllauslegung legt die Auffüllschaltung 2716 Pixelwerte von Pixeln, die in einem Auffüllbereich (z.B. einer von PR_DE, PR_DE1-PR_DE3, PR_T, PR_B, PR_L, PR_R und PR_CE1-PR_CE4) enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln fest, die in einer Projektionsfläche enthalten sind, welche den Auffüllbereich berührt. Zum Beispiel werden Kantenpixel einer Projektionsfläche repliziert, um Auffüllpixel eines Auffüllbereichs zu erzeugen, welcher die Projektionsfläche berührt. Den in dem Unterdiagramm (A) von 29 gezeigten Auffüllbereich PR_T als Beispiel nehmend weist er einen linken Duplizierungsbereich, einen mittleren Duplizierungsbereich und einen rechten Duplizierungsbereich auf, wobei der linke Duplizierungsbereich als ein Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „1“ fungiert, der mittlere Duplizierungsbereich als der Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „0“ fungiert und der rechte Duplizierungsbereich als der Schutzbereich der erneut abgetasteten quadratischen Projektionsfläche „2“ fungiert. Da der linke Duplizierungsbereich die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ berührt, werden Kantenpixel, die sich an der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „1“ befinden, direkt dupliziert, um Pixelwerte von Pixeln in dem linken Duplizierungsbereich des Auffüllbereichs PR_T festzulegen. Da der mittlere Duplizierungsbereich die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ berührt, werden Kantenpixel, die sich an der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „0“ befinden, direkt dupliziert, um Pixelwerte von Pixeln in dem mittleren Duplizierungsbereich des Auffüllbereichs PR_T festzulegen. Da der mittlere Duplizierungsbereich die obere Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ berührt, werden Kantenpixel, die sich an der oberen Seite der erneut abgetasteten quadratischen Projektionsfläche „2“ befinden, direkt dupliziert, um Pixelwerte von Pixeln in dem rechten Duplizierungsbereich des Auffüllbereichs PR_T festzulegen.
In einer dritten beispielhaften Auffüllungsauslegung legt die Auffüllschaltung 2716 Pixelwerte von Pixeln, die in einem Auffüllbereich (z.B. einer von PR_DE, PR_DE1-PR_DE3, PR_T, PR_B, PR_L, PR_R und PR_CE1-PR_CE4) einer ersten Projektionsfläche enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln fest, die in einer zweiten Projektionsfläche enthalten sind, welche den Auffüllbereich nicht berührt. Zum Beispiel korrespondieren die erste Projektionsfläche und die zweite Projektionsfläche zu benachbarten Flächen eines Würfels in einem 3D-Raum (z.B. benachbarte Flächen des in 20 gezeigten Würfels 2004). 31 ist ein Diagramm, das eine Auffüllauslegung, welche einen Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche generiert, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird die erneut abgetastete quadratische Projektionsfläche „0“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „F“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „1“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „L“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „2“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „R“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „3“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „BK“ generiert, wird die erneut abgetastete quadratische Projektionsfläche „4“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „T“ generiert, und wird die erneut abgetastete quadratische Projektionsfläche „5“ durch ein Anwenden einer ungleichförmigen Abbildung auf die in 20 gezeigte quadratische Projektionsfläche „B“ generiert. Weiter wird die vorgeschlagene 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 2902, wie in dem Unterdiagramm (A) von 29 gezeigt, eingesetzt.
Basierend auf Bildinhaltskontinuitätseigenschaften weist der Auffüllbereich PR_DE1, der zwischen den erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“ eingefügt ist, ein Duplikat eines Teilbereichs PK in der erneut abgetasteten quadratischen Projektionsfläche „5“ und ein Duplikat eines Teilbereichs PA in der erneut abgetasteten quadratischen Projektionsfläche „1“ auf, weist der Auffüllbereich PR_DE2, der zwischen den erneut abgetasteten quadratischen Projektionsflächen „0“ und „3“ eingefügt ist, ein Duplikat eines Teilbereichs PM in der erneut abgetasteten quadratischen Projektionsfläche „5“ und ein Duplikat eines Teilbereichs PD in der erneut abgetasteten quadratischen Projektionsfläche „1“ auf, weist der Auffüllbereich PR_DE3, der zwischen den erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“ eingefügt ist, ein Duplikat eines Teilbereichs PP in der erneut abgetasteten quadratischen Projektionsfläche „5“ und ein Duplikat eines Teilbereichs PE in der erneut abgetasteten quadratischen Projektionsfläche „1“ auf.
Weiter weist basierend auf Bildinhaltskontinuitätseigenschaften der obere Auffüllbereich PR_T, welcher die erneut abgetasteten quadratischen Projektionsflächen „1“, „0“ und „2“ berührt, ein Duplikat eines Teilbereichs PI in der erneut abgetasteten quadratischen Projektionsfläche „4“, ein Duplikat eines Teilbereichs PL in der erneut abgetasteten quadratischen Projektionsfläche „4“ und ein Duplikat eines Teilbereichs PN in der erneut abgetasteten quadratischen Projektionsfläche „4“ auf; weist der untere Auffüllbereich PR_B, welcher die erneut abgetasteten quadratischen Projektionsflächen „4“, „3“ und „5“ berührt, ein Duplikat eines Teilbereichs PC in der erneut abgetasteten quadratischen Projektionsfläche „2“, ein Duplikat eines Teilbereichs PH in der erneut abgetasteten quadratischen Projektionsfläche „2“ und ein Duplikat eines Teilbereichs PG in der erneut abgetasteten quadratischen Projektionsfläche „2“ auf; weist der linke Auffüllbereich PR_L, welcher die erneut abgetasteten quadratischen Projektionsflächen „1“ und „4“ berührt, ein Duplikat eines Teilbereichs PJ in der erneut abgetasteten quadratischen Projektionsfläche „3“ und ein Duplikat eines Teilbereichs PB in der erneut abgetasteten quadratischen Projektionsfläche „0“ auf; und weist der rechte Auffüllbereich PR_R, welcher die erneut abgetasteten quadratischen Projektionsflächen „2“ und „5“ berührt, ein Duplikat eines Teilbereichs PO in der erneut abgetasteten quadratischen Projektionsfläche „3“ und ein Duplikat eines Teilbereichs PF in der erneut abgetasteten quadratischen Projektionsfläche „0“ auf.
Weiter wird eine Eckauffüllung ausgeführt, um Eckauffüllbereiche um Flächenecken von bestimmten erneut abgetasteten Projektionsflächen „1“, „2“, „4“ und „5“ festzulegen. Insbesondere wird ein Pixelwert jedes Auffüllpixels in einem Eckauffüllbereich von einer Interpolation hergeleitet, die auf Kantenpixel von benachbarten Auffüllbereichen ausgeführt wird. Einen Eckauffüllbereich 3102 als Beispiel nehmend wird ein Pixelwert eines Auffüllpixels C durch eine Interpolation festgelegt, die auf ein Kantenpixel C_y des duplizierten Teilbereichs PB und ein Kantenpixel C_x des duplizierten Teilbereichs PC ausgeführt wird, wobei das Auffüllpixel C und das Kantenpixel C_y die gleiche y-Achsenkoordinate aufweisen, und das Auffüllpixel C und das Kantenpixel C_x die gleiche x-Achsenkoordinate aufweisen. Der horizontale Abstand zwischen dem Auffüllpixel C und dem Kantenpixel C_x wird durch i repräsentiert. Der vertikale Abstand zwischen dem Auffüllpixel C und dem Kantenpixel C_y wird durch j repräsentiert. Die Interpolation kann unter Verwendung der nachfolgenden Formel ausgedrückt werden. $C = \frac{j * C_{x} + i * C_{y}}{i + j}$
Hinsichtlich der in 27 gezeigten Ausführungsform weist die Konvertierungsschaltung 2714 die Wiederabtastschaltung 2715 und die Auffüllschaltung 2716 auf, sodass (eine) erneut abgetastete quadratische Projektionsfläche(n), die von der Wiederabtastschaltung 2715 generiert wird (werden), und (ein) Auffüllbereich(e), der (die) von der Auffüllschaltung 2716 generiert wird (werden), in dem projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR, welche durch eine vorgeschlagene CMP-Anordnung mit einer Auffüllung festgelegt ist, gepackt sind. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Zum Beispiel kann die vorgeschlagene CMP-Anordnung mit einer Auffüllung von der in 1 gezeigten Konvertierungsschaltung 114 verwendet werden. Daher können die in 28-31 gezeigten Auffüllbereiche durch die Auffüllschaltung 115 generiert werden, und die in 28-31 gezeigten Projektionsflächen „0“, „1“, „2“, „3“, „4“, „5“ können die in 20 gezeigten quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“, „B“ sein. Die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“, „B“, die direkt durch die Würfelabbildungsprojektion ohne Wiederabtastung erhalten werden, und die Auffüllbereiche, die von der Auffüllschaltung 114 generiert werden, werden in den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR, welche durch eine vorgeschlagene CMP-Anordnung mit einer Auffüllung festgelegt ist, gepackt.
Der Schutzbereich kann gemäß einer Schutzbereichsauslegung festgelegt sein, die von der ersten beispielhaften Schutzbereichsauslegung, der zweiten beispielhaften Schutzbereichsauslegung und der dritten beispielhaften Schutzbereichsauslegung, wie vorstehend genannt, ausgewählt wird. Zusätzlich kann die Schutzbereichsgröße S_GB 4 Pixel in einer Breite, 8 Pixel in einer Breite, 16 Pixel in einer Breite oder jede Anzahl von Pixeln in einer Breite sein. Die Schutzbereichsinformation kann für eine weitere Verwendung in einer Rekonstruktion/Wiedergabe auf der Decodiererseite in dem Bitstrom BS signalisiert werden. Gemäß einem vorgeschlagenen Syntaxsignalisierungsverfahren kann die nachfolgende Syntaxtabelle eingesetzt werden.

Guard_band (payloadSize) { Deskriptor

...

...

guard_band_width u(8)

guard_band_type u(3)

...

...

}
Es sollte beachtet werden, dass die Deskriptoren in der vorstehenden beispielhaften Syntaxtabelle den Analyseprozess jedes Syntaxelements spezifizieren. Zum Beispiel beschreibt der Deskriptor u(n) eine vorzeichenlose ganze Zahl, die n Bits verwendet.
Das Syntaxelement guard_band_width spezifiziert die Breite des Schutzbereichs auf der oberen/linken/rechten/unteren Größe jeder Projektionsfläche in Einheiten von Liminanzabtastwerten. Wenn das decodierte Bild ein 4:2:0 oder 4:2:2 Chrominanzformat aufweist, sollte guard_band_width eine gerade Zahl sein.
Das Syntaxelement guard_band_type spezifiziert das Pixelauffüllverfahren in dem Schutzbereich. Wenn der Schutzbereich um die Projektionsfläche unbestimmt ist, kann das Syntaxelement guard_band_type durch 0 festgelegt sein (d.h., guard_band_type == 0). Wenn die Pixel in dem Schutzbereich von einem Duplizieren von Kantenpixeln einer Projektionsfläche hergeleitet werden, kann das Syntaxelement guard_band_type durch 1 festgelegt sein (d.h., guard_band_type == 1). Wenn die Pixel in dem Schutzbereich einer Projektionsfläche von einer benachbarten Fläche in einem 3D-Raum kopiert werden, kann das Syntaxelement guard_band_type durch 2 festgelegt sein (d.h., guard_band_type == 2). Wenn die Pixel in dem Schutzbereich einer Projektionsfläche von einem Anwenden einer Geometrieauffüllung auf die Projektionsfläche hergeleitet werden, kann das Syntaxelement guard_band_type durch 3 festgelegt sein (d.h., guard_band_type == 3).
Wie vorstehend erwähnt, empfängt die Decodierungsschaltung 122 der Zielelektronikvorrichtung 104 den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Video-Decodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um den decodierten Rahmen IMG' zu generieren, welcher ein decodierter projektionsbasierter Rahmen ist, der die gleiche 360-VR-Projaktionsanordnung L_VR aufweist, die von der Konvertierungsschaltung 114/2714 der Quellenelektronikvorrichtung 102/2702 eingesetzt wird. In einem Fall, in welchem die 360-VR-Projektionsanordnung L_VR durch eine Projektionsanordnung mit einer Auffüllung (z.B. eine Projektionsanordnung mit einer Randauffüllung, eine Projektionsanordnung mit einer Kantenauffüllung oder eine Projektionsanordnung mit einer Randauffüllung und einer Kantenauffüllung) festgelegt ist, weist der decodierte Rahmen IMG' Auffüllbereiche auf, die sich an Anordnungsrändern und/oder Flächenkanten einer Projektionsanordnung befinden. In einer Ausführungsform kann die Decodierungsschaltung 122 die Auffüllbereiche beschneiden, sodass nur die Bereiche, die keine Auffüllbereiche sind (z.B. ein Rundum-Bild/Video-Inhalt, der in Projektionsflächen repräsentiert wird, die ursprünglich von einer 360-VR-Projektion erhalten werden, oder ein Rundum-Bild/Video-Inhalt, der in erneut abgetasteten Projektionsflächen repräsentiert wird, die von einem Wiederabtasten von Projektionsflächen hergeleitet werden, die ursprünglich von einer 360-VR-Projektion erhalten werden) rekonstruiert werden. In einer alternativen Auslegung kann die Decodierungsschaltung 122 so modifiziert werden, dass sie ein Mischen ausführt, welches auf Auffüllpixeln in einem Auffüllbereich und Pixeln in einem Bereich, der kein Auffüllbereich ist, basiert. Zum Beispiel kann ein Pixelwert eines Pixels in einer Projektionsfläche durch ein Mischen eines ursprünglichen Pixelwerts des Pixels in der Projektionsfläche mit einem Pixelwert eines korrespondierenden Auffüllpixels in einem Auffüllbereich aktualisiert werden. Als ein anderes Beispiel kann ein Pixelwert eines Auffüllpixels in einem Auffüllbereich durch ein Mischen eines ursprünglichen Pixelwerts des Auffüllpixels in dem Auffüllbereich und eines Pixelwerts eines korrespondierenden Pixels in einer Projektionsfläche aktualisiert werden.
32 ist ein Diagramm, das ein viertes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 2700 und 3200 ist, dass eine Decodierungsschaltung 3222 einer Zielelektronikvorrichtung 3204 eine Mischschaltung 3224 aufweist, die eingerichtet ist, ein Mischen nach einem Codieren auszuführen. 33 ist ein Diagramm, das ein fünftes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 100 und 3300 ist, dass eine Decodierungsschaltung 3322 einer Zielelektronikvorrichtung 3304 eine Mischschaltung 3324 aufweist, die eingerichtet ist, ein Mischen nach einem Codieren auszuführen.
Die Decodierungsschaltung 3222/3322 ist eingerichtet, einen Teil des Bitstroms BS zu decodieren, um einen decodierten Rahmen (d.h., ein decodierter projektionsbasierter Rahmen) IMG' mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in der 360-VR-Projektionsanordnung L_VR (z.B. eine Projektionsanordnung mit einer Randauffüllung, eine Projektionsanordnung mit einer Kantenauffüllung oder eine Projektionsanordnung mit einer Randauffüllung und einer Kantenauffüllung) gepackt sind, zu generieren. Während des Decodierungsprozesses des Generierens des decodierten Rahmens IMG' rekonstruiert die Decodierungsschaltung 3222/3322 ein erstes Pixel in einer Projektionsfläche durch ein Verwenden der Mischschaltung 3224/3324, um einen decodierten Pixelwert, der für das erste Pixel erhalten wird, und einen decodierten Pixelwert, der für ein zweites Pixel, das in einem Auffüllbereich enthalten ist, zu mischen. Zum Beispiel wird der Auffüllbereich durch die Auffüllschaltung 2716/115 auf der Codiererseite (d.h., die Quellenelektronikvorrichtung 2702/102) durch ein Verwenden der vorstehend genannten dritten beispielhaften Auffüllauslegung generiert. Das heißt, ein Pixelwert des zweiten Pixels, das in dem Auffüllbereich enthalten ist, der in dem projektionsbasierten Rahmen IMG gepackt ist, wird aufgrund einer Duplizierung generiert, die auf einen Teilbereich in der Projektionsfläche angewendet wird. Als ein anderes Beispiel wird der Auffüllbereich durch die Auffüllschaltung 2716/115 auf der Codiererseite (d.h., die Quellenelektronikvorrichtung 2702/102) durch ein Verwenden der vorstehend genannten ersten beispielhaften Auffüllauslegung generiert. Das heißt, ein Pixelwert des zweiten Pixels, das in dem Auffüllbereich enthalten ist, der in dem projektionsbasierten Rahmen IMG gepackt ist, wird aufgrund einer Geometrieabbildung generiert, die auf die Projektionsfläche angewendet wird. In einigen Ausführungsformen der vorliegenden Erfindung kann ein abstandsbasiertes Gewichtungsschema durch die Mischschaltung 3224/3324 eingesetzt werden.
Hinsichtlich der Mischschaltung 3224 kann diese verwendet werden, um Pixelwerte von Pixeln in einer Projektionsfläche zu aktualisieren, welche von einem Wiederabtastprozess erhalten wird. Hinsichtlich der Mischschaltung 3324 kann diese verwendet werden, um Pixelwerte von Pixeln in einer Projektionsfläche zu aktualisieren, welche keinen Wiederabtastprozess durchläuft. Das gleiche abstandsbasierte Gewichtungsschema kann von beiden Mischschaltungen 3224 und 3324 eingesetzt werden. In der nachfolgenden Beschreibung des abstandsbasierten Gewichtungsschemas kann der Begriff „Projektionsfläche“ eine Projektionsfläche, welche von einem Wiederabtastprozess erhalten wird, oder eine Projektionsfläche, welche keinen Wiederabtastprozess durchläuft, bedeuten.
34 ist ein Diagramm, das eine decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass die in 31 gezeigte beispielhafte Auffüllauslegung von der Auffüllschaltung 2716/115 eingesetzt wird. Daher wird ein Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche gemäß der vorstehend genannten dritten beispielhaften Auffüllauslegung erhalten. Basierend auf Bildinhaltskontinuitätseigenschaften wird ein Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ in 34 hinzugefügt wird, durch ein Duplikat des Teilbereichs PB in der quadratischen Projektionsfläche „0“ festgelegt. Ein Codierungsergebnis des Teilbereichs PB in der quadratischen Projektionsfläche „0“ und ein Codierungsergebnis des Auffüllbereichs, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, sind jedoch nicht notwendigerweise gleich. Daher können auf einer Decodiererseite (z.B. die Zielelektronikvorrichtung 3204/3304) decodierte Pixel, die von einem Decodieren des Teilbereichs PB in der quadratischen Projektionsfläche „0“ erhalten werden, mit decodierten Pixeln, die von einem Decodieren des Auffüllbereichs, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, gemischt werden. Wenn Projektionsflächen aufgrund einer Auffüllung verschiedene Breiten und/oder Höhen aufweisen, ist ein Wiederabtasten des Auffüllbereichs (z.B. eine Interpolation der Auffüllpixel) gemäß dem Verhältnis von unterschiedlichen Breiten und/oder Höhen für ein Mischen notwendig.
Ein rekonstruierter Pixelwert eines Zielpixels (d.h., ein Quellenpixel mit einem zu aktualisierenden Pixelwert) in einer Projektionsfläche ist ein aktualisierter Pixelwert, welcher unter Verwendung einer nachfolgenden Formel berechnet werden kann. $S_{R E C} = \frac{(M - N) * T + (M + N) * S}{2 * M}$
In der vorstehenden Formel (4) repräsentiert S_REC den rekonstruierten Pixelwert (ein aktualisierter Pixelwert) des Zielpixels in der Projektionsfläche (z.B. ein Pixel A in der quadratischen Projektionsfläche „0“), S repräsentiert den decodierten Pixelwert (ein ursprünglicher Pixelwert), der für das Zielpixel erhalten wird, T repräsentiert den decodierten Pixelwert, der für ein korrespondierendes Auffüllpixel in einem Auffüllbereich (z.B. ein Auffüllpixel A' in dem Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird) erhalten wird, M repräsentiert eine Auffüllbreite des Auffüllbereichs, und N repräsentiert einen Abstand zwischen dem Zielpixel und einer Seite der Projektionsfläche. Wie in 34 gezeigt, wird der Abstand zwischen dem Pixel A und der oberen Seite der quadratischen Projektionsfläche „0“ durch d repräsentiert, und der Abstand zwischen dem Auffüllpixel A' und der linken Seite der quadratischen Projektionsfläche „4“ wird durch d' repräsentiert. Da ein Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche gemäß der vorstehend genannten dritten beispielhaften Auffüllauslegung erhalten wird, befindet sich das Auffüllpixel A' an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem Auffüllbereich, und der Wert von d ist gleich dem Wert von d'.
Wenn jedoch ein Auffüllbereich einer Projektionsfläche durch ein Anwenden einer Geometrieauffüllung auf die Projektionsfläche gemäß der vorstehend genannten ersten beispielhaften Auffüllungsauslegung erhalten wird, kann sich das Auffüllpixel A' an einer nichtganzzahligen Position (d.h., (x, y), wobei x keine ganzzahlige Position ist und/oder y keine ganzzahlige Position ist) in dem Auffüllbereich befinden, und der Wert von d kann von dem Wert von d' verschieden sein. Insbesondere wird die 2D-Koordinate des Auffüllpixels A' aufgrund einer Geometrieabbildung von der 2D-Koordinate des Pixels A konvertiert. Das heißt, das Pixel A, das sich an einer ganzzahligen Position (d.h., (X, Y), wobei X und Y ganzzahlige Positionen sind) in der quadratischen Projektionsfläche „0“ befindet, kann auf das Auffüllpixel A', das sich an einer nichtganzzahligen Position (d.h., (x, y), wobei x keine ganzzahlige Position ist und/oder y keine ganzzahlige Position ist) in dem Auffüllbereich befindet, abgebildet werden. Da ein Pixelwert des Auffüllpixels A', das sich an einer nichtganzzahligen Position befindet, in dem Auffüllbereich nicht direkt verfügbar ist, kann die Mischschaltung 3224/3324 den Pixelwert des Auffüllpixels A', das sich an der nichtganzzahligen Position in dem Auffüllbereich befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Auffüllpixel, die sich an ganzzahligen Positionen in dem Auffüllbereich befinden, zu verarbeiten. Nachdem der Pixelwert des Auffüllpixels A', das sich an der nichtganzzahligen Position befindet, bestimmt ist, wird die vorstehende Formel (4) verwendet, um den aktualisierten Pixelwert des Pixels A in der quadratischen Projektionsfläche „0“ zu berechnen.
In der vorstehenden Formel (4) repräsentiert N einen Abstand zwischen dem Zielpixel und einer Seite der Projektionsfläche. In einer ersten beispielhaften Auslegung ist N durch einen positiven ganzzahligen Wert festgelegt. Zum Beispiel ist N = i+1, wobei i der Index (der Abstand) gezählt von einer Seite der Projektionsfläche ist, und 0 ≦ i < M. 35 ist ein Diagramm, das das Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass M = 4 und N = i+1. Die vorstehende Formel (4) kann wie folgt umgeschrieben werden. $A_{i, u p d a t e d} = \frac{(4 - i - 1) * A'_{i} + (4 + i + 1) * A_{i}}{2 * 4}$
In der vorstehenden Formel (5) repräsentiert A_i einen decodierten Pixelwert, der für ein Zielpixel mit einem Index i in einer Projektionsfläche erhalten wird, A_i,updated repräsentiert den rekonstruierten Pixelwert (der aktualisierte Pixelwert) des Zielpixels in der Projektionsfläche, und A'_i repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Auffüllpixel in einem Auffüllbereich erhalten wird. Wie in 35 dargestellt, ist die Gewichtung des Zielpixels A₃ (d.h., A_i mit i = 3) gleich 8 (d.h., 4+3+1), und die Gewichtung des korrespondierenden Auffüllpixels A'₃ (d.h., A'_i mit i = 3) ist gleich 0 (d.h., 4-3-1); ist die Gewichtung des Zielpixels A₂ (d.h., A_i mit i = 2) gleich 7 (d.h., 4+2+1), und die Gewichtung des korrespondierenden Auffüllpixels A'₂ (d.h., A'_i mit i = 2) ist gleich 1 (d.h., 4-2-1); ist die Gewichtung des Zielpixels A₁ (d.h., A_i mit i = 1) gleich 6 (d.h., 4+1+1), und die Gewichtung des korrespondierenden Auffüllpixels A'₁ (d.h., A'_i mit i = 1) ist gleich 2 (d.h., 4-1-1); und ist die Gewichtung des Zielpixels A₀ (d.h., A_i mit i = 0) gleich 5 (d.h., 4+0+1), und die Gewichtung des korrespondierenden Auffüllpixels A'₀ (d.h., A'_i mit i = 0) ist gleich 3 (d.h., 4-0-1).
Wie in 35 gezeigt, wird die Gewichtung von 8 zu 0 aufgrund der Tatsache, dass der Unterschied zwischen den benachbarten Gewichtungswerten „5“ und „3“ gleich 2 ist, nicht mit einer konstanten Schrittgröße verringert. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung eine andere Festlegung eines Abstands zwischen dem Zielpixel und einer Seite der Projektionsfläche vor. In einer zweiten beispielhaften Auslegung ist N durch einen positiven nichtganzzahligen Wert festgelegt. Zum Beispiel ist N = i+0,5, wobei i der Index (der Abstand) gezählt von einer Seite der Projektionsfläche ist, und 0 ≦ i < M. 36 ist ein Diagramm, das ein anderes Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass M = 4 und N = i+0,5. Die vorstehende Formel (4) kann wie folgt umgeschrieben werden. $A_{i, u p d a t e d} = \frac{(4 - i - 0.5) * A'_{i} + (4 + i + 0.5) * A_{i}}{2 * 4}$
In der vorstehenden Formel (6) repräsentiert A_i einen decodierten Pixelwert, der für ein Zielpixel mit einem Index i in einer Projektionsfläche erhalten wird, A_i,updated repräsentiert den rekonstruierten Pixelwert (der aktualisierte Pixelwert) des Zielpixels in der Projektionsfläche, und A'_i repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Auffüllpixel in einem Auffüllbereich erhalten wird. Wie in 36 dargestellt, ist die Gewichtung des Zielpixels A₃ (d.h., A_i mit i = 3) gleich 7,5 (d.h., 4+3+0,5), und die Gewichtung des korrespondierenden Auffüllpixels A'₃ (d.h., A'_i mit i = 3) ist gleich 0,5 (d.h., 4-3-0,5); ist die Gewichtung des Zielpixels A₂ (d.h., A_i mit i = 2) gleich 6,5 (d.h., 4+2+0,5), und die Gewichtung des korrespondierenden Auffüllpixels A'₂ (d.h., A'_i mit i = 2) ist gleich 1,5 (d.h., 4-2-0,5); ist die Gewichtung des Zielpixels A_i (d.h., A_i mit i = 1) gleich 5,5 (d.h., 4+1+0,5), und die Gewichtung des korrespondierenden Auffüllpixels A'₁ (d.h., A'_i mit i = 1) ist gleich 2,5 (d.h., 4-1-0,5); und ist die Gewichtung des Zielpixels A₀ (d.h., A_i mit i = 0) gleich 4,5 (d.h., 4+0+0,5), und die Gewichtung des korrespondierenden Auffüllpixels A'₀ (d.h., A'_i mit i = 0) ist gleich 3,5 (d.h., 4-0-0,5). Die Gewichtung wird von 7,5 zu 0,5 mit einer konstanten Schrittgröße verringert.
Für bestimmte Anwendungen kann eine Konvertierungsschaltung in einer Zielelektronikvorrichtung implementiert werden, um einen decodierten Rahmen mit einer Projektionsanordnung eines ersten 360-VR-Projektionsformats in einen konvertierten Rahmen mit einer Projektionsanordnung eines zweiten 360-VR-Projektionsformats, welches zu dem ersten 360-VR-Projektionsformat verschieden ist, zu konvertieren. Zum Beispiel kann der decodierte Rahmen, der von einer Decodierungsschaltung generiert wird, ein projektionsbasierter Rahmen mit Projektionsflächen und Auffüllbereichen sein, die in einer Würfelabbildungsprojektionsanordnung mit einer Auffüllung gepackt sind, und der konvertierte Rahmen, der von der Konvertierungsschaltung generiert und von einer nachfolgenden Graphikwiedergabeschaltung verwendet wird, kann ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in einer typischen Äquirektangularprojektions- (ERP-) Anordnung ohne Auffüllung gepackt sind. Ein Pixel, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem konvertierten Rahmen befindet, kann auf ein Pixel abgebildet werden, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem decodierten Rahmen befindet. Das heißt, wenn eine Projektionsanordnungskonvertierung ausgeführt wird, kann die Konvertierungsschaltung einen Pixelwert eines Pixels, das sich an einer ganzzahligen Position in dem konvertierten Rahmen befindet, durch einen Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position in dem decodierten Rahmen befindet, festlegen. Da ein Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position befindet, in dem decodierten Rahmen nicht direkt verfügbar ist, kann die Konvertierungsschaltung den Pixelwert des Pixels, das sich an der nichtganzzahligen Position in dem decodierten Rahmen befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Pixel zu verarbeiten, die sich an ganzzahligen Positionen in dem decodierten Rahmen befinden. In einem Fall, in welchem das Pixel mit der nichtganzzahligen Position an oder nah bei einer Kante einer Projektionsfläche in dem decodierten Rahmen liegt, können die Pixel, die von dem Interpolationsfilter verwendet werden, mindestens ein Pixel, das von der Projektionsfläche ausgewählt wird, und mindestens ein Pixel, das von dem korrespondierenden Auffüllbereich ausgewählt wird, aufweisen. Wie vorstehend erwähnt, werden Pixelwerte von Pixeln in der Projektionsfläche durch ein Mischen (z.B. ein abstandsbasiertes Gewichten) aktualisiert. Pixelwerte von Auffüllpixeln in dem korrespondierenden Auffüllbereich werden jedoch nicht durch ein Mischen (z.B. ein abstandsbasiertes Gewichten) aktualisiert. Als eine Folge können aufgrund einer Interpolation, die auf aktualisierte Pixelwerte von Pixeln in der Projektionsfläche und ursprüngliche Pixelwerte von Auffüllpixel in dem korrespondierenden Auffüllbereich ausgeführt wird, Artefakte eingeführt werden. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung ein anderes Mischschema vor, welches ausgeführt wird, um sowohl Pixelwerte von Pixeln in einer Projektionsfläche als auch Pixelwerte von Auffüllpixeln in einem korrespondierenden Auffüllbereich zu aktualisieren.
37 ist ein Diagramm, das ein sechstes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 3200 und 3700 ist, dass eine Mischschaltung 3724 in einer Decodierungsschaltung 3722 einer Zielelektronikvorrichtung 3704 eingerichtet ist, ein Mischen zum Aktualisieren sowohl von Pixelwerten von Pixeln in Projektionsflächen als auch von Pixelwerten von Auffüllpixeln in Auffüllbereichen auszuführen, und die Zielelektronikvorrichtung 3704 weiter eine Konvertierungsschaltung 3726 aufweist, die eingerichtet ist, einen decodierten Rahmen (d.h., ein decodierter projektionsbasierter Rahmen) IMG' mit einer 360-VR-Projektionsanordnung in einen konvertierten Rahmen (d.h., ein konvertierter projektionsbasierter Rahmen) IMG" mit einer unterschiedlichen 360-VR-Projektionsanordnung zu konvertieren. In einer Ausführungsform der vorliegenden Erfindung kann die 360-VR-Projektionsanordnung L_VR eine CMP-Anordnung mit einer Auffüllung sein, und die konvertierte 360-VR-Projektionsanordnung kann eine ERP-Anordnung ohne Auffüllung sein. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein.
38 ist ein Diagramm, das ein siebtes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 3300 und 3800 ist, dass eine Mischschaltung 3824 in einer Decodierungsschaltung 3822 einer Zielelektronikvorrichtung 3804 eingerichtet ist, ein Mischen zum Aktualisieren sowohl von Pixelwerten von Pixeln in Projektionsflächen als auch von Pixelwerten von Auffüllpixeln in Auffüllbereichen auszuführen, und die Zielelektronikvorrichtung 3804 weiter eine Konvertierungsschaltung 3826 aufweist, die eingerichtet ist, einen decodierten Rahmen IMG' mit einer 360-VR-Projektionsanordnung in einen konvertierten Rahmen IMG" mit einer unterschiedlichen 360-VR-Projektionsanordnung zu konvertieren. In einer Ausführungsform der vorliegenden Erfindung kann die 360-VR-Projektionsanordnung L_VR eine CMP-Anordnung sein, und die konvertierte 360-VR-Projektionsanordnung kann eine ERP-Anordnung sein. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein.
Hinsichtlich den in 37 und 38 gezeigten Ausführungsformen kann die 360-VR-Projektionsanordnung L_VR, die von dem projektionsbasierten Rahmen IMG und dem decodierten Rahmen IMG' verwendet wird, eine Projektionsanordnung für ein 360-VR-Projektionsformat sein, welches zu einem anderen 360-VR-Projektionsformat, das zu dem konvertierten Rahmen IMG" gehört, verschieden ist. Zum Beispiel können unterschiedliche Projektionsanordnungen L_VR, die von dem decodierten Rahmen IMG' und dem konvertierten Rahmen IMG" verwendet werden, von einer Gruppe von Projektionsanordnungen, die eine ERP-Anordnung, eine Mehrzahl von würfelbasierten Projektionsanordnungen (z.B. eine CMP-Anordnung, eine Pyramidenprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramidenprojektionsanordnung und eine viewportbasierte Würfelprojektionsanordnung), eine Mehrzahl von dreieckbasierten Projektionsanordnungen (z.B. eine Oktaederprojektionsanordnung, eine Ikosaederprojektionsanordnung, eine Tetraederprojektionsanordnung, eine tetragon-quarz-basierte Projektionsanordnung und eine hexagon-quarz-basierte Projektionsanordnung), eine Segmentierte-Kugel-Projektions- (SSP-) Anordnung, eine äquatorial-zylindrische Projektionsanordnung, eine Rotierte-Kugel-Projektionsanordnung, usw. ausgewählt werden.
In einigen Ausführungsformen der vorliegenden Erfindung kann ein abstandsbasiertes Gewichtungsschema von der Mischschaltung 3724/3824 eingesetzt werden. Hinsichtlich der Mischschaltung 3724 kann diese verwendet werden, um Pixelwerte von Pixeln in einer Projektionsfläche zu aktualisieren, welche von einem Wiederabtastprozess erhalten wird, und kann weiter verwendet werden, um Pixelwerte von Auffüllpixeln in einem Auffüllbereich zu aktualisieren. Hinsichtlich der Mischschaltung 3824 kann diese verwendet werden, um Pixelwerte von Pixeln in einer Projektionsfläche zu aktualisieren, welche keinen Wiederabtastprozess durchläuft, und kann weiter verwendet werden, um Pixelwerte von Auffüllpixeln in einem Auffüllbereich zu aktualisieren. Das gleiche abstandsbasierte Gewichtungsschema kann von beiden der Mischschaltungen 3724 und 3824 eingesetzt werden. In der nachfolgenden Beschreibung des abstandsbasierten Gewichtungsschemas kann der Begriff „Projektionsfläche“ eine Projektionsfläche, welche von einem Wiederabtastprozess erhalten wird, oder eine Projektionsfläche, welche keinen Wiederabtastprozess durchläuft, bedeuten.
Es sei wieder auf 34 verwiesen. Es sei angenommen, dass die in 31 gezeigte beispielhafte Auffüllauslegung von der Auffüllschaltung 2716/115 eingesetzt wird. Daher wird ein Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche gemäß der vorstehend genannten dritten beispielhaften Auffüllauslegung erhalten. Basierend auf Bildinhaltskontinuitätseigenschaften wird ein Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, durch ein Duplikat des Teilbereichs PB in der quadratischen Projektionsfläche „0“ festgelegt. Ein Codierungsergebnis des Teilbereichs PB in der quadratischen Projektionsfläche „0“ und ein Codierungsergebnis des Auffüllbereichs, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, sind jedoch nicht notwendigerweise gleich. Daher können auf einer Decodiererseite (z.B. die Zielelektronikvorrichtung 3704/3804) decodierte Pixel, die von einem Decodieren des Teilbereichs PB in der quadratischen Projektionsfläche „0“ erhalten werden, mit decodierten Pixeln, die von einem Decodieren des Auffüllbereichs, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, gemischt werden. In dieser Ausführungsform wird die Mischschaltung 3724/3824 verwendet, um Pixelwerte von Pixeln in dem Teilbereich PB der quadratischen Projektionsfläche „0“ durch ein Mischen von ursprünglichen Pixelwerten von Pixeln in dem Teilbereich PB der quadratischen Projektionsfläche „0“ mit ursprünglichen Pixelwerten von Auffüllpixeln in dem Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, zu aktualisieren, und die Mischschaltung 3724/3824 wird weiter verwendet, um Pixelwerte von Auffüllpixeln in dem Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, durch ein Mischen von ursprünglichen Pixelwerten von Auffüllpixeln in dem Auffüllbereich, der zu der linken Seite der Projektionsfläche „4“ hinzugefügt wird, und ursprünglichen Pixelwerten von Pixeln in dem Teilbereich PB der quadratischen Projektionsfläche „0“ zu aktualisieren. Wenn Projektionsflächen aufgrund einer Auffüllung verschiedene Breiten und/oder Höhen aufweisen, ist ein Wiederabtasten des Auffüllbereichs (z.B. eine Interpolation der Auffüllpixel) gemäß dem Verhältnis von unterschiedlichen Breiten und/oder Höhen zum Mischen notwendig.
Ein rekonstruierter Pixelwert eines Zielpixels (d.h., ein Quellenpixel mit einem zu aktualisierenden Pixelwert) in einem von einer Projektionsfläche und einem Auffüllbereich ist ein aktualisierter Pixelwert, welcher unter Verwendung einer nachfolgenden Formel berechnet werden kann. $S'_{R E C} = \frac{(M - N') * T' + (M + N') * S'}{2 * M}$
In der vorstehenden Formel (7) repräsentiert S'_REC den rekonstruierten Pixelwert (der aktualisierte Pixelwert) des Zielpixels (z.B. ein Pixel A in der in 34 gezeigten quadratischen Projektionsfläche „0“, oder ein Auffüllpixel A' in dem in 34 gezeigten Auffüllbereich, der zu der linken Seite der quadratischen Projektionsfläche „4“ hinzugefügt wird), S' repräsentiert den decodierten Pixelwert (der ursprüngliche Pixelwert), der für das Zielpixel erhalten wird, T repräsentiert den decodierten Pixelwert, der für ein korrespondierendes Pixel erhalten wird, welches mit dem Zielpixel gemischt werden wird (z.B. das Auffüllpixel A' in dem in 34 gezeigten Auffüllbereich, der zu der linken Seite der quadratischen Projektionsfläche „4“ hinzugefügt wird, oder das Pixel A in der in 34 gezeigten quadratischen Projektionsfläche „0“), M repräsentiert eine Auffüllbreite des Auffüllbereichs, und N' repräsentiert einen Abstand zwischen dem Zielpixel und einer Seite einer Projektionsfläche. In einem Fall, in welchem das Zielpixel das Pixel A in der in 34 gezeigten quadratischen Projektionsfläche „0“ ist, wird N' durch einen Wert festgelegt, der repräsentativ für den Abstand zwischen dem Pixel A und der oberen Seite der quadratischen Projektionsfläche „0“ ist. In einem anderen Fall, in welchem das Zielpixel das Auffüllpixel A' in dem in 34 gezeigten Auffüllbereich ist, der zu der linken Seite der quadratischen Projektionsfläche „4“ hinzugefügt wird, wird N' durch einen Wert festgelegt, der repräsentativ für den Abstand zwischen dem Auffüllpixel A' und der linken Seite der quadratischen Projektionsfläche „4“ ist.
Wie in 34 gezeigt, wird der Abstand zwischen dem Pixel A und der oberen Seite der quadratischen Projektionsfläche „0“ durch d repräsentiert, und der Abstand zwischen dem Auffüllpixel A' und der linken Seite der quadratischen Projektionsfläche „4“ wird durch d' repräsentiert. Da ein Auffüllbereich einer Projektionsfläche durch ein Kopieren eines Teilbereichs in einer anderen Projektionsfläche gemäß der vorstehend genannten dritten beispielhaften Auffüllauslegung erhalten wird, befindet sich das Auffüllpixel A' an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem Auffüllbereich, und der Wert von d ist gleich dem Wert von d'.
Wenn jedoch ein Auffüllbereich einer Projektionsfläche durch ein Anwenden einer Geometrieauffüllung auf die Projektionsfläche gemäß der vorstehend genannten ersten beispielhaften Auffüllauslegung erhalten wird, befindet sich ein Zielpixel (welches einen zu aktualisierenden Pixelwert aufweist) an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind), und ein Pixel, das kein Zielpixel ist (welches einen Pixelwert aufweist, welcher mit dem Pixelwert des Zielpixels gemischt wird), kann sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) befinden. In einem Fall, in welchem das Zielpixel das Pixel A in der quadratischen Projektionsfläche „0“ ist, ist das Pixel, das kein Zielpixel ist, das Auffüllpixel A', welches sich an einer nichtganzzahligen Position in dem Auffüllbereich befinden kann, wobei der Wert von d von dem Wert von d' verschieden sein kann. Insbesondere wird die 2D-Koordinate des Auffüllpixels A' von der 2D-Koordinate des Pixels A aufgrund einer Geometrieabbildung konvertiert. Das heißt, das Pixel A, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in der quadratischen Projektionsfläche „0“ befindet, kann auf das Auffüllpixel A', das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem Auffüllbereich befindet, abgebildet werden. Da ein Pixelwert des Auffüllpixels A', das sich an einer nichtganzzahligen Position befindet, in dem Auffüllbereich nicht direkt verfügbar ist, kann die Mischschaltung 3724/3824 den Pixelwert des Auffüllpixels A', das sich an der nichtganzzahligen Position in dem Auffüllbereich befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Auffüllpixel, die sich an ganzzahligen Positionen in dem Auffüllbereich befinden, zu verarbeiten. Nachdem der Pixelwert des Auffüllpixels A', das sich an der nichtganzzahligen Position befindet, bestimmt ist, wird die vorstehende Formel (7) verwendet, um den aktualisierten Pixelwert des Pixels A zu berechnen.
In einem anderen Fall, in welchem das Zielpixel das Auffüllpixel A' in dem Auffüllbereich ist, der zu der linken Seite der quadratischen Projektionsfläche „4“ hinzugefügt wird, und das Pixel, das kein Zielpixel ist, das Pixel A ist, welches sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in der quadratischen Projektionsfläche „0“ befinden kann, wobei der Wert von d von dem Wert von d' verschieden sein kann. Insbesondere wird die 2D-Koordinate des Pixels A von der 2D-Koordinate des Auffüllpixels A' aufgrund einer Geometrieabbildung konvertiert. Das heißt, das Auffüllpixel A', das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem Auffüllbereich befindet, kann auf das Pixel A, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in der quadratischen Projektionsfläche „0“ befindet, abgebildet werden. Da ein Pixelwert des Pixels A, das sich an einer nichtganzzahligen Position befindet, in der quadratischen Projektionsfläche „0“ nicht direkt verfügbar ist, kann die Mischschaltung 3724/3824 den Pixelwert des Pixels A, das sich an der nichtganzzahligen Position in der quadratischen Projektionsfläche „0“ befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Pixel zu verarbeiten, die sich an ganzzahligen Positionen in der quadratischen Projektionsfläche „0“ befinden. Nachdem der Pixelwert des Pixels A, das sich an der nichtganzzahligen Position befindet, bestimmt ist, wird die vorstehende Formel (7) verwendet, um den aktualisierten Pixelwert des Auffüllpixels A' zu berechnen.
In der vorstehenden Formel (7) repräsentiert N' einen Abstand zwischen dem Zielpixel und einer Seite einer Projektionsfläche, wobei das Zielpixel ein Pixel in einer Projektionsfläche oder ein Auffüllpixel in einem Auffüllbereich sein kann. In einer ersten beispielhaften Auslegung wird N' durch einen nichtganzzahligen Wert festgelegt. Zum Beispiel ist N' = i+0,5, wobei i der Index (der Abstand) von einer Seite einer Projektionsfläche gezählt ist. In dieser Ausführungsform wird i durch einen negativen ganzzahligen Wert festgelegt, wenn das Zielpixel ein Auffüllpixel in einem Auffüllbereich ist, welcher sich außerhalb einer Projektionsfläche befindet, und wird durch einen nicht-negativen ganzzahligen Wert festgelegt, wenn das Zielpixel ein Pixel ist, das in einer Projektionsfläche enthalten ist. 39 ist ein Diagramm, das das Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, und Pixelwerten von Auffüllpixeln in einem Auffüllbereich gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass M = 4 und N = i+0,5 ist. Die vorstehende Formel (7) kann wie folgt umgeschrieben werden. $A_{i, u p d a t e d} = \frac{(4 - i - 0.5) * A'_{i} + (4 + i + 0.5) * A_{i}}{2 * 4}, where - 4 \leq i \leq 4$
In der vorstehenden Formel (8) repräsentiert A_i einen decodierten Pixelwert, der für ein Zielpixel mit einem Index i erhalten wird, A_i,updated repräsentiert den rekonstruierten Pixelwert (der aktualisierte Pixelwert) des Zielpixels, und A'_i repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Pixel, das kein Zielpixel ist, erhalten wird. Wie in 39 dargestellt, ist die Gewichtung des Zielpixels A₃ in einer Projektionsfläche (d.h., A_i mit i = 3) gleich 7,5 (d.h., 4+3+0,5), und ist die Gewichtung des korrespondierenden Pixels A'₃, das kein Zielpixel ist, in einem Auffüllbereich (d.h., A'_i mit i = 3) gleich 0,5 (d.h., 4-3-0,5); ist die Gewichtung des Zielpixels A₂ in der Projektionsfläche (d.h., A_i mit i = 2) gleich 6,5 (d.h., 4+2+0,5), und ist die Gewichtung des korrespondierenden Pixels A'₂, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 2) gleich 1,5 (d.h., 4-2-0,5); ist die Gewichtung des Zielpixels A₁ in der Projektionsfläche (d.h., A_i mit i = 1) gleich 5,5 (d.h., 4+1+0,5), und ist die Gewichtung des korrespondierenden Pixels A'₁, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 1) gleich 2,5 (d.h., 4-1-0,5); und ist die Gewichtung des Zielpixels A₀ in der Projektionsfläche (d.h., A_i mit i = 0) gleich 4,5 (d.h., 4+0+0,5), und ist die Gewichtung des korrespondierenden Pixels A'₀, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 0) gleich 3,5 (d.h., 4-0-0,5).
Weiter ist, wie in 39 gezeigt, die Gewichtung des Zielpixels A_-1 in dem Auffüllbereich (d.h., A_i mit i = -1) gleich 3,5 (d.h., 4-1 +0,5), und ist die Gewichtung des korrespondierenden Pixels A'_-1, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -1) gleich 4,5 (d.h., 4+1-0,5); ist die Gewichtung des Zielpixels A_-2 in dem Auffüllbereich (d.h., A_i mit i = -2) gleich 2,5 (d.h., 4-2+0,5), und ist die Gewichtung des korrespondierenden Pixels A'_-2, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -2) gleich 5,5 (d.h., 4+2-0,5); ist die Gewichtung des Zielpixels A_-3 in dem Auffüllbereich (d.h., A_i mit i = -3) gleich 1,5 (d.h., 4-3+0,5), und ist die Gewichtung des korrespondierenden Pixels A'_-3, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -3) gleich 6,5 (d.h., 4+3-0,5); und ist die Gewichtung des Zielpixels A_-4 in dem Auffüllbereich (d.h., A_i mit i = -4) gleich 0,5 (d.h., 4-4+0,5), und ist die Gewichtung des korrespondierenden Pixels A'_-4, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -4) gleich 7,5 (d.h., 4+4-0,5).
In einer zweiten beispielhaften Auslegung wird N' durch einen ganzzahligen Wert festgelegt. Zum Beispiel ist N' = i+1, wobei i der Index (der Abstand) von einer Seite einer Projektionsfläche gezählt ist. In dieser Ausführungsform wird i durch einen negativen ganzzahligen Wert festgelegt, wenn das Zielpixel ein Auffüllpixel in einem Auffüllbereich ist, und i wird durch einen nicht-negativen ganzzahligen Wert festgelegt, wenn das Zielpixel ein Pixel in einer Projektionsfläche ist. 40 ist ein Diagramm, das ein anderes Verhältnis zwischen den Gewichtungswerten von Pixeln und den Indexwerten von Pixeln, welche in einem Aktualisieren von Pixelwerten von Pixeln in einer Projektionsfläche involviert sind, und Pixelwerten von Auffüllpixeln in einem Auffüllbereich gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass M = 4 und N' = i+1. Die vorstehende Formel (7) kann wie folgt umgeschrieben werden. $A_{i, u p d a t e d} = \frac{(4 - i - 1) * A'_{i} + (4 + i + 1) * A_{i}}{2 * 4}, where - 4 \leq i \leq 4$
In der vorstehenden Formel (9) repräsentiert A_i einen decodierten Pixelwert, der für ein Zielpixel mit einem Index i erhalten wird, A_i,updated repräsentiert den rekonstruierten Pixelwert (der aktualisierte Pixelwert) des Zielpixels, und A'_i repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Pixel, das kein Zielpixel ist, erhalten wird. Wie in 40 dargestellt, ist die Gewichtung des Zielpixels A₃ in einer Projektionsfläche (d.h., A_i mit i = 3) gleich 8 (d.h., 4+3+1), und ist die Gewichtung des korrespondierenden Pixels A'₃, das kein Zielpixel ist, in einem Auffüllbereich (d.h., A'_i mit i = 3) gleich 0 (d.h., 4-3-1); ist die Gewichtung des Zielpixels A₂ in der Projektionsfläche (d.h., A_i mit i = 2) gleich 7 (d.h., 4+2+1), und ist die Gewichtung des korrespondierenden Pixels A'₂, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 2) gleich 1 (d.h., 4-2-1); ist die Gewichtung des Zielpixels A₁ in der Projektionsfläche (d.h., A_i mit i = 1) gleich 6 (d.h., 4+1+1), und ist die Gewichtung des korrespondierenden Pixels A'₁, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 1) gleich 2 (d.h., 4-1-1); und ist die Gewichtung des Zielpixels A₀ in der Projektionsfläche (d.h., A_i mit i = 0) gleich 5 (d.h., 4+0+1), und ist die Gewichtung des korrespondierenden Pixels A'₀, das kein Zielpixel ist, in dem Auffüllbereich (d.h., A'_i mit i = 0) gleich 3 (d.h., 4-0-1).
Weiter ist, wie in 40 gezeigt, die Gewichtung des Zielpixels A_-1 in dem Auffüllbereich (d.h., A_i mit i = -1) gleich 4 (d.h., 4-1+1), und ist die Gewichtung des korrespondierenden Pixels A'_-1, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -1) gleich 4 (d.h., 4+1-1); ist die Gewichtung des Zielpixels A_-2 in dem Auffüllbereich (d.h., A_i mit i = -2) gleich 3 (d.h., 4-2+1), und ist die Gewichtung des korrespondierenden Pixels A'_-2, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -2) gleich 5 (d.h., 4+2-1); ist die Gewichtung des Zielpixels A_-3 in dem Auffüllbereich (d.h., A_i mit i = -3) gleich 2 (d.h., 4-3+1), und ist die Gewichtung des korrespondierenden Pixels A'_-3, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -3) gleich 6 (d.h., 4+3-1); und ist die Gewichtung des Zielpixels A_-4 in dem Auffüllbereich (d.h., A_i mit i = -4) gleich 1 (d.h., 4-4+1), und ist die Gewichtung des korrespondierenden Pixels A'_-4, das kein Zielpixel ist, in der Projektionsfläche (d.h., A'_i mit i = -4) gleich 7 (d.h., 4+4-1).
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als nur durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15917844 [0001, 0002]
US 62/563787 [0001, 0002]
US 62/583078 [0001, 0002]
US 62/583573 [0001, 0002]
US 15/917844 [0001]
US 62/470425 [0001]

Claims

Videoverarbeitungsverfahren, umfassend: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine Würfelabbildungsprojektion auf die Projektionsflächen abgebildet wird, und die Projektionsflächen eine erste Projektionsfläche aufweisen; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein Wiederabtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellenbereich und einen zweiten Quellenbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem Wiederabtasten des ersten Quellenbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem Wiederabtasten des zweiten Quellenbereichs mit einer zweiten Abtastdichte, welche zu der ersten Abtastdichte verschieden ist, hergeleitet wird; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der Würfelabbildungsprojektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung gepackt ist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche einen gleichen Formentyp aufweisen.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Projektionsflächen weiter eine zweite Projektionsfläche aufweisen, das Videoverarbeitungsverfahren weiter umfasst: Erhalten einer zweiten erneut abgetasteten Projektionsfläche durch ein Wiederabtasten mindestens eines Teils der zweiten Projektionsfläche durch eine ungleichförmige Abbildung, wobei der projektionsbasierte Rahmen weiter die zweite erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung gepackt ist; und mindestens eine ungleichförmige Abbildungsfunktion, die zum Wiederabtasten des mindestens einen Teils der ersten Projektionsfläche eingesetzt wird, ist zu mindestens einer ungleichförmigen Abbildungsfunktion, die zum Wiederabtasten des mindestens einen Teils der zweiten Projektionsfläche eingesetzt wird, verschieden.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die ungleichförmige Abbildung eine erste ungleichförmige Abbildungsfunktion, die zum Wiederabtasten des mindestens einen Teils der ersten Projektionsfläche in einer ersten Richtung eingesetzt wird, und eine zweite ungleichförmige Abbildungsfunktion, die zum Wiederabtasten des mindestens einen Teils der ersten Projektionsfläche in einer zweiten Richtung, die zu der ersten Richtung verschieden ist, eingesetzt wird, umfasst, und die zweite ungleichförmige Abbildungsfunktion zu der ersten ungleichförmigen Abbildungsfunktion verschieden ist.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die ungleichförmige Abbildung eine ungleichförmige Abbildungsfunktion umfasst, die zum Wiederabtasten des mindestens einen Teils der ersten Projektionsfläche eingesetzt wird, und die ungleichförmige Abbildungsfunktion ausgedrückt wird durch: f(p) = A*p²+B*p, wobei A+B = 1, p eine Pixelposition innerhalb der ersten Projektionsfläche in einer ausgewählten Richtung repräsentiert, und f(p) eine Pixelposition innerhalb der ersten erneut abgetasteten Projektionsfläche in der ausgewählten Richtung repräsentiert.
Videoverarbeitungsverfahren gemäß Anspruch 5, wobei A = -0,385 und B = 1,385.
Videoverarbeitungsverfahren, umfassend: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer Würfelabbildungsprojektion; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in eine Projektionsanordnung der Würfelabbildungsprojektion, wobei die Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich mindestens die erste Projektionsfläche berührt und mindestens einen Teil eines Rands der Projektionsanordnung bildet; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, weiter einen zweiten Auffüllbereich, einen dritten Auffüllbereich und einen vierten Auffüllbereich aufweist; und der erste Auffüllbereich, der zweite Auffüllbereich, der dritte Auffüllbereich und der vierte Auffüllbereich jeweils vier Ränder der Projektionsanordnung bilden.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei die Projektionsflächen weiter eine zweite Projektionsfläche aufweisen; es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich weiter einen zweiten Auffüllbereich aufweist; und der zweite Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche berührt, um die eine Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der Projektionsanordnung zu isolieren.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei die Projektionsflächen weiter eine zweite Projektionsfläche aufweisen; es eine Bildinhaltskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich weiter einen zweiten Auffüllbereich aufweist; und der zweite Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche berührt, um die eine Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der Projektionsanordnung zu isolieren.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden einer Geometrieauffüllung auf die erste Projektionsfläche, um Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von bestimmten Pixeln, die in der ersten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei die Projektionsflächen, die in der Projektionsanordnung gepackt sind, weiter eine zweite Projektionsfläche aufweisen, welche den ersten Auffüllbereich nicht berührt, und das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von bestimmten Pixeln, die in der zweiten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 7, wobei eine Auffüllbreite des ersten Auffüllbereichs 4 Pixel ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Teils eines Bitstroms; und Decodieren des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich zu generieren, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, umfassend: Rekonstruieren eines ersten Pixels, das in dem mindestens einen Auffüllbereich enthalten ist, durch ein Mischen eines decodierten Pixelwerts, der für das erste Pixel erhalten wird, und eines decodierten Pixelwerts, der für ein zweites Pixel erhalten wird, das in der mindestens einen Projektionsfläche enthalten ist.
Videoverarbeitungsverfahren gemäß Anspruch 15, wobei das erste Pixel in einem ersten Auffüllbereich des mindestens einen Auffüllbereichs enthalten ist, das zweite Pixel in einer ersten Projektionsfläche der mindestens einen Projektionsfläche enthalten ist; der Teil des Bitstroms von einem Codieren eines projektionsbasierten Rahmens mit der mindestens einen Projektionsfläche und dem mindestens einen Auffüllbereich, die in der Projektionsanordnung der 360-VR-Projektion gepackt sind, generiert wird; und Pixelwerte von Pixeln, die in dem ersten Auffüllbereich enthalten sind, der in dem projektionsbasierten Rahmen gepackt ist, durch ein Duplizieren von Pixelwerten von Pixeln, die in der ersten Projektionsfläche enthalten sind, generiert werden.
Videoverarbeitungsverfahren gemäß Anspruch 15, wobei das erste Pixel in einem ersten Auffüllbereich des mindestens einen Auffüllbereichs enthalten ist, das zweite Pixel in einer ersten Projektionsfläche der mindestens einen Projektionsfläche enthalten ist; der Teil des Bitstroms von einem Codieren eines projektionsbasierten Rahmens mit der mindestens einen Projektionsfläche und dem mindestens einen Auffüllbereich, die in der Projektionsanordnung der 360-VR-Projektion gepackt sind, generiert wird; und Pixelwerte von Pixeln, die in dem ersten Auffüllbereich enthalten sind, der in dem projektionsbasierten Rahmen gepackt ist, durch ein Anwenden einer Geometrieauffüllung auf die erste Projektionsfläche generiert werden.
Videoverarbeitungsverfahren gemäß Anspruch 15, wobei ein aktualisierter Pixelwert des ersten Pixels unter Verwendung einer nachfolgenden Formel berechnet wird: $S'_{R E C} = {\frac{(M - N) * T' + (M + N) * S'}{2 * M}}_{,}$
wobei S'_REC den aktualisierten Pixelwert des ersten Pixels repräsentiert, S' den decodierten Pixelwert repräsentiert, der für das erste Pixel erhalten wird, T' den decodierten Pixelwert repräsentiert, der für das zweite Pixel erhalten wird, M eine Auffüllbreite des ersten Auffüllbereichs repräsentiert, und N einen Abstand zwischen dem ersten Pixel und einer Seite einer Projektionsfläche repräsentiert, die den ersten Auffüllbereich berührt.
Videoverarbeitungsverfahren gemäß Anspruch 18, wobei N = i+0,5, i ein Index des ersten Pixels ist, welcher von der einen Seite der Projektionsfläche gezählt wird, welche den ersten Auffüllbereich berührt, und i eine negative ganze Zahl nicht kleiner als -M ist.
Videoverarbeitungsverfahren gemäß Anspruch 15, wobei die Projektionsanordnung eine Würfelabbildungsprojektionsanordnung mit einer Auffüllung ist.