DE112018000177T5 - Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind - Google Patents

Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind Download PDF

Info

Publication number
DE112018000177T5
DE112018000177T5 DE112018000177.6T DE112018000177T DE112018000177T5 DE 112018000177 T5 DE112018000177 T5 DE 112018000177T5 DE 112018000177 T DE112018000177 T DE 112018000177T DE 112018000177 T5 DE112018000177 T5 DE 112018000177T5
Authority
DE
Germany
Prior art keywords
projection
area
projection surface
padding
triangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112018000177.6T
Other languages
English (en)
Other versions
DE112018000177T8 (de
Inventor
Ya-Hsuan Lee
Chia-Ying Li
Hung-Chih Lin
Jian-Liang Lin
Shen-Kai Chang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of DE112018000177T5 publication Critical patent/DE112018000177T5/de
Application granted granted Critical
Publication of DE112018000177T8 publication Critical patent/DE112018000177T8/de
Active legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Projection Apparatus (AREA)

Abstract

Ein Video-Verarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert, Erhalten von Projektionsflächen von dem Rundum-Inhalt und Erzeugen eines projektionsbasierten Rahmens durch Generieren mindestens eines Auffüllbereichs und Packen der Projektionsflächen und des mindestens einen Auffüllbereich in einer 360-VR-Projektionsanordnung. Die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, weisen eine erste Projektionsfläche und eine zweiten Projektionsfläche auf, wobei es eine Bildinhaltsdiskontinuitätskante zwischen der ersten Projektionsfläche und einer zweiten Projektionsfläche gibt, wenn die erste Projektionsfläche die zweite Projektionsfläche berührt. Der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, weist einen ersten Auffüllbereich auf, wobei der erste Auffüllbereich die erste Projektionsfläche und die zweite Projektionsfläche zum Isolieren der ersten Projektionsfläche von der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung berührt.

Description

  • Querverweis auf verwandte Anmeldungen
  • Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung Nr. 62/470,425 , eingereicht am 13.03.2017, die hier durch Bezugnahme eingeschlossen ist.
  • Hintergrund
  • Die vorliegende Erfindung bezieht sich auf ein Verarbeiten eines Rundum-Bild-/Video-Inhalts, und genauer auf ein Verfahren und eine Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gepackt sind.
  • Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) gehört zu einer Vielfalt von Anwendungen. Die Möglichkeit, einem Anwender ein weites Feld von Ansichtsinhalten zu zeigen, kann verwendet werden, um eindringliche visuelle Erlebnisse bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bild-/Video-Inhalt führt, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren eines solchen 360-Grad-Bild-/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Daten-Komprimierung/-Codierung kritisch für eine Bitratenreduktion.
  • Allgemein wird der Rundum-Bild-/Video-Inhalt, der zu der Kugel korrespondiert, in eine Sequenz von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild-/Video-Inhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Sequenz der projektionsbasierten Rahmen in einen Bitstrom für eine Übertragung codiert. Wenn die eingesetzte 360-VR-Projektionsanordnung nicht geeignet ausgelegt ist, ist es möglich, dass der projektionsbasierte Rahmen nicht kompakt ist und/oder viele Bildinhaltsdiskontinuitätskanten aufweist, welche durch ein Packen der Projektionsflächen verursacht wird. Zusätzlich kann die Bildqualität von Rändern und/oder Bildinhaltsdiskontinuitätskanten des projektionsbasierten Rahmens nach einer Komprimierung schlecht sein.
  • Zusammenfassung
  • Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren und eine Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gepackt, sind zur Verfügung zu stellen. Mit einer geeigneten Auffüllungsgestaltung der 360-VR-Projektionsanordnung kann der projektionsbasierte Rahmen eine bessere Bildqualität nach einer Komprimierung aufweisen.
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsflächen abgebildet wird; und Erzeugen eines projektionsbasierten Rahmens durch eine Konvertierungsschaltung durch Generieren mindestens eines Auffüllbereichs und Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche zum Isolieren der einen Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung berührt.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten mindestens einer Projektionsfläche von dem Rundum-Inhalt der Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsflächen abgebildet wird; und Erzeugen eines projektionsbasierten Rahmens durch eine Konvertierungsschaltung durch Generieren mindestens eines Auffüllbereichs und Packen der mindestens einen Projektionsfläche und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung, wobei die mindestens eine Projektionsfläche, die in der 360-VR-Projektionsanordnung gepackt ist, eine erste Projektionsfläche aufweist; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich die erste Projektionsfläche berührt und mindestens einen Teil eines Rands der 360-VR-Projektionsanordnung bildet.
  • Gemäß einem dritten Aspekt der vorliegenden Erfindung wird eine beispielhafte Video-Verarbeitungsvorrichtung offenbart. Die beispielhafte Video-Verarbeitungsvorrichtung weist eine Konvertierungsschaltung und einen Video-Codierer auf. Die Konvertierungsschaltung ist eingerichtet, einen Rundum-Inhalt zu empfangen, der zu einer Kugel korrespondiert; eine Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel zu erhalten, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsflächen abgebildet wird; und einen projektionsbasierten Rahmen durch Generieren mindestens eines Auffüllbereichs und Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung zu erzeugen, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche zum Isolieren der einen Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung berührt. Der Video-Codierer ist eingerichtet, den projektionsbasierten Rahmen mit den Projektionsflächen und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, zu codieren, um einen Teil eines Bitstroms zu generieren.
  • Gemäß einem vierten Aspekt der vorliegenden Erfindung wird eine beispielhafte Video-Verarbeitungsvorrichtung offenbart. Die beispielhafte Video-Verarbeitungsvorrichtung weist eine Konvertierungsschaltung und einen Video-Codierer auf. Die Konvertierungsschaltung ist eingerichtet, einen Rundum-Inhalt zu empfangen, der zu einer Kugel korrespondiert; mindestens eine Projektionsfläche von dem Rundum-Inhalt der Kugel zu erhalten, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird; und einen projektionsbasierten Rahmen durch Generieren mindestens eines Auffüllbereichs und Packen der mindestens einen Projektionsfläche und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung zu erzeugen, wobei die mindestens eine Projektionsfläche, die in der 360-VR-Projektionsanordnung gepackt ist, eine erste Projektionsfläche aufweist; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich die erste Projektionsfläche berührt und mindestens einen Rand der 360-VR-Projektionsanordnung bildet. Der Video-Codierer ist eingerichtet, den projektionsbasierten Rahmen mit der mindestens einen Projektionsfläche und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, zu codieren, um einen Teil eines Bitstroms zu generieren
  • Diese und andere Aufgaben der vorliegenden Erfindung werden zweifellos für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach dem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist, offenbar.
  • Figurenliste
    • 1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaeder-Projektionsformats, welche von einer Oktaeder-Projektion einer Kugel gemäß einem unrotierten Oktaeder erhalten werden, darstellt.
    • 3 ist ein Diagramm, das eine erste kompakte Oktaeder-Projektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 4 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaeder-Projektionsformats, welche von einer Oktaeder-Projektion einer Kugel gemäß einem rotierten Oktaeder erhalten werden, darstellt.
    • 5 ist ein Diagramm, das eine zweite kompakte Oktaeder-Projektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 6 ist ein Diagramm, das eine erste kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 7 ist ein Diagramm, das eine zweite kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 8 ist ein Diagramm, das Beispiele einer Interpolation darstellt, die durch eine in 1 gezeigte Auffüllschaltung ausgeführt wird.
    • 9 ist ein Diagramm, das ein Beispiel einer Geometrie-Auffüllung darstellt, das durch die in 1 gezeigte Auffüllschaltung ausgeführt wird.
    • 10 ist ein Diagramm, das eine kompakte Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 11 ist ein Diagramm, das eine dritte kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 12 ist ein Diagramm, das eine erste ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 13 ist ein Diagramm, das eine zweite ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 14 ist ein Diagramm, das eine dritte ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 15 ist ein Diagramm, das eine Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 16 ist ein Diagramm, das eine Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 17 ist ein Diagramm, das eine vierte kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 18 ist ein Diagramm, das eine kompakte Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
  • Detaillierte Beschreibung
  • Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden durchweg in der nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Hersteller von Elektronikausrüstung durch unterschiedliche Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die sich in einem Namen unterscheiden aber nicht in einer Funktion. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „enthalten“ und „aufweisen“ in einer offenen Weise verwendet, und sollten somit so interpretiert werden, dass sie „enthalten, aber nicht beschränkt sein auf...“ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
  • 1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Video-Verarbeitungsvorrichtungen (z. B. eine Quell-Elektronikvorrichtung 102 und eine Ziel-Elektronikvorrichtung 104) auf. Die Quell-Elektronikvorrichtung 102 weist eine Video-Aufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Die Video-Aufnahmevorrichtung 112 kann zum Beispiel ein Satz von Kameras sein, die verwendet werden, um einen Rundum-Bild-/Video-Inhalt (z. B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Video-Aufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung L_VR gemäß dem Rundum-Bild-/Video-Inhalt S_IN. Zum Beispiel kann der projektionsbasierte Rahmen IMG ein Rahmen sein, der in einer Sequenz von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungsschaltung, die verwendet wird, um den projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 zu der Ziel-Elektronikvorrichtung 104 aus. Zum Beispiel kann die Sequenz von projektionsbasierten Rahmen in den Bitstrom codiert sein, und die Übertragungseinrichtung 103 kann eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
  • Die Ziel-Elektronikvorrichtung 104 kann eine am Kopf befestigte Anzeige- (HMD-) Vorrichtung sein. Wie in 1 gezeigt, weist die Ziel-Elektronikvorrichtung 104 eine Decodierungsschaltung 122, eine graphische Wiedergabeschaltung 124 und einen Anzeigeschirm 126 auf. Die Decodierungsschaltung 122 empfängt den Bitstrom BS von der Übertragungseinrichtung 103 (z. B. eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Video-Decodierer-Funktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um einen decodierten Rahmen IMG' zu generieren. Zum Beispiel generiert die Decodierungsschaltung 122 eine Sequenz von decodierten Rahmen durch Decodieren des empfangenen Bitstroms BS, wobei der decodierte Rahmen IMG' ein Rahmen ist, der in der Sequenz von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der durch den Video-Codierer 116 auf der Codierer-Seite zu codierende projektionsbasierte Rahmen IMG ein 360-VR-Projektionsformat mit einer Projektionsanordnung auf. Daher weist, nachdem der Bitstrom BS durch die Decodierungsschaltung 122 auf der Decodierer-Seite decodiert worden ist, der decodierte Rahmen IMG' das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung auf. Die graphische Wiedergabeschaltung 124 ist zwischen der Decodierungsschaltung 122 und dem Anzeigeschirm 126 angeschlossen. Die graphische Wiedergabeschaltung 124 gibt gemäß dem decodierten Rahmen IMG' Ausgabebilddaten wieder und zeigt sie auf dem Anzeigeschirm 126 an. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild-/Video-Inhalts gehört, der durch den decodierten Rahmen IMG' übertragen wird, über die graphische Wiedergabeschaltung 124 auf dem Anzeigeschirm 126 angezeigt werden.
  • Wie vorstehend erwähnt, generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR und dem Rundum-Bild-/Video-Inhalt S_IN. Wenn die 360-VR-Projektionsanordnung L_VR eine kompakte Projektionsanordnung ohne eine Auffüllung ist, ist es möglich, dass ein Packen von Projektionsflächen zu Bildinhaltsdiskontinuitätskanten zwischen benachbarten Projektionsflächen führen kann.
  • 2 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaeder-Projektionsformats, welche von einer Oktaeder-Projektion einer Kugel gemäß einem unrotierten Oktaeder erhalten werden, darstellt. Ein Rundum-Bild-/Video-Inhalt einer Kugel 202 wird auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszeichen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) eines unrotierten Oktaeders 204 abgebildet. Wie in 2 gezeigt, sind die dreieckigen Projektionsflächen „1“-„8“ in einer Oktaeder-Projektionsanordnung 206 angeordnet. Eine Form jeder der dreieckigen Projektionsflächen „1“-„8“ ist ein gleichseitiges Dreieck. Für eine dreieckige Projektionsfläche „K“ (K=1-8) weist diese Fläche drei Seiten auf, die als SK1, SK2 und SK3 gekennzeichnet sind. Die Kugel 202 ist aus einer oberen Hemisphäre (z. B. eine nördliche Hemisphäre) und einer unteren Hemisphäre (z. B. eine südliche Hemisphäre) aufgebaut. Aufgrund einer Oktaeder-Projektion basierend auf dem unrotierten Oktaeder 204 sind die dreieckigen Projektionsflächen „1“, „2“, „3“ und „4“ alle von der oberen Hemisphäre hergeleitet, die dreieckigen Projektionsflächen „5“, „6“, „7“ und „8“ sind alle von der unteren Hemisphäre hergeleitet, und ein Äquator 208 der Kugel 202 ist entlang der Seiten S13, S23, S33, S43, S53, S63, S73 und S83 der dreieckigen Projektionsflächen „1“-„8“ abgebildet, wie durch gestrichelte Linien in 2 angezeigt.
  • Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die Oktaeder-Projektionsanordnung 206 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, ist es aufgrund von vielen Dummy-Bereichen (z. B. schwarze Bereiche, graue Bereiche oder weiße Bereiche), die in dem projektionsbasierten Rahmen gefüllt sind, unmöglich, dass der projektionsbasierte Rahmen IMG eine kompakte Rahmenanordnung aufweist. Somit besteht eine Notwendigkeit für eine kompakte Oktaeder-Projektionsanordnung, welche ein Verwenden von Dummy-Bereichen (z. B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) vermeiden kann.
  • Es sei auf 2 in Verbindung mit 3 verwiesen. 3 ist ein Diagramm, das eine erste kompakte Oktaeder-Projektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Äquator 208 der Kugel 202 wird entlang von Seiten der dreieckigen Projektionsflächen „1“-„8“ abgebildet, wie durch gestrichelte Linien in 3 angezeigt. Die kompakte Oktaeder-Projektionsanordnung 310 wird von der Oktaeder-Projektionsanordnung 206 mit einer Dreieckprojektionsflächenrotation und einer Dreieckprojektionsflächenteilung abgeleitet. Wie in dem mittleren Teil von 3 gezeigt, wird die dreieckige Projektionsfläche „1“ in der Oktaeder-Projektionsanordnung 206 um 60° im Uhrzeigersinn rotiert, die dreieckige Projektionsfläche „3“ in der Oktaeder-Projektionsanordnung 206 wird um 60° entgegen dem Uhrzeigersinn rotiert, die dreieckige Projektionsfläche „5“ in der Oktaeder-Projektionsanordnung 206 wird um 60° entgegen dem Uhrzeigersinn rotiert, und die dreieckige Projektionsfläche „7“ in der Oktaeder-Projektionsanordnung 206 wird um 60° im Uhrzeigersinn rotiert. Daher berührt die Seite S21 der dreieckigen Projektionsfläche „2“ die Seite S12 der dreieckigen Projektionsfläche „1“, die Seite S22 der dreieckigen Projektionsfläche „2“ berührt die Seite S31 der dreieckigen Projektionsfläche „3“, die Seite S62 der dreieckigen Projektionsfläche „6“ berührt die Seite S51 der dreieckigen Projektionsfläche „5“, und die Seite S61 der dreieckigen Projektionsfläche „6“ berührt die Seite S72 der dreieckigen Projektionsfläche „7“.
  • Wie in dem mittleren Teil von 3 gezeigt, existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S21 der dreieckigen Projektionsfläche „2“ und der Seite S12 der dreieckigen Projektionsfläche „1“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „1“ und „2“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S22 der dreieckigen Projektionsfläche „2“ und der Seite S31 der dreieckigen Projektionsfläche „3“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „3“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S23 der dreieckigen Projektionsfläche „2“ und der Seite S63 der dreieckigen Projektionsfläche „6“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „6“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S62 der dreieckigen Projektionsfläche „6“ und der Seite S51 der dreieckigen Projektionsfläche „5“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „5“ und „6“ repräsentiert) und existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S61 der dreieckigen Projektionsfläche „6“ und der Seite S72 der dreieckigen Projektionsfläche „7“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „6“ und „7“ repräsentiert).
  • Zusätzlich wird die dreieckige Projektionsfläche „8“ in der Oktaeder-Projektionsanordnung 206 in zwei rechtwinklig-dreieckig geformte Teile 302 und 304 geteilt, und die dreieckige Projektionsfläche „4“ in der Oktaeder-Projektionsanordnung 206 wird in zwei rechtwinklig-dreieckig geformte Teile 306 und 308 geteilt. Wie in dem unteren Teil von 3 gezeigt, werden der rechtwinklig-dreieckig geformte Teil 304 der dreieckigen Projektionsfläche „8“ und der rechtwinklig-dreieckig geformte Teil 308 der dreieckigen Projektionsfläche „4“ jeweils mit den dreieckigen Projektionsflächen „7“ und „3“ verbunden; und der rechtwinklig-dreieckig geformte Teil 302 der dreieckigen Projektionsfläche „8“ und der rechtwinklig-dreieckig geformte Teil 306 der dreieckigen Projektionsfläche „4“ werden versetzt und jeweils mit den dreieckigen Projektionsflächen „5“ und „1“ verbunden.
  • Der rechtwinklig-dreieckig geformte Teil 302 der dreieckigen Projektionsfläche „8“ weist drei Seiten S811, S812 und S83_1 auf, wobei die Seite S811 die Seite S81 der dreieckigen Projektionsfläche „8“ ist und die Seite S83_1 ein erster Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist. Der rechtwinklig-dreieckig geformte Teil 304 der dreieckigen Projektionsfläche „8“ weist drei Seiten S821, S822 und S83_2 auf, wobei die Seite S821 die Seite S82 der dreieckigen Projektionsfläche „8“ ist und die Seite S83_2 ein zweiter Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist.
  • Der rechtwinklig-dreieckig geformte Teil 306 der dreieckigen Projektionsfläche „4“ weist drei Seiten S421, S422 und S43_1 auf, wobei die Seite S421 die Seite S42 der dreieckigen Projektionsfläche „4“ ist und die Seite S43_1 ein erster Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist. Der rechtwinklig-dreieckig geformte Teil 308 der dreieckigen Projektionsfläche „4“ weist drei Seiten S411, S412 und S43_2 auf, wobei die Seite S411 die Seite S41 der dreieckigen Projektionsfläche „4“ ist und die Seite S43_2 ein zweiter Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist.
  • Gemäß der kompakten Oktaeder-Projektionsanordnung 310 berührt die Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ die Seite S73 der dreieckigen Projektionsfläche „7“, berührt die Seite S83_2 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ die Seite S43_2 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“, berührt die Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ die Seite S33 der dreieckigen Projektionsfläche „3“, berührt die Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ die Seite S53 der dreieckigen Projektionsfläche „5“, berührt die Seite S83_1 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ die Seite S43_1 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ und berührt die Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ die Seite S13 der dreieckigen Projektionsfläche „1“.
  • Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S83_2 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S43_2 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“. Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S83_1 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S43_1 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“. Das heißt, ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „4“ und „8“ repräsentiert. Weiter existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“ und eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“.
  • Wie in dem unteren Teil von 3 gezeigt, ist die 360-VR-Projektionsanordnung L_VR, die durch die kompakte Oktaeder-Projektionsanordnung 310 festgelegt wird, ein Rechteck ohne Dummy-Bereiche (d. h. schwarze Bereiche oder weiße Bereiche). Zusätzlich wird ein Teil des 360-Grad-Bild-/Video-Inhalts kontinuierlich in den dreieckigen Projektionsflächen „1“, „2“, „3“, „5“, „6“, „7“ ohne eine Bildinhaltsdiskontinuität repräsentiert. Einige Bildinhaltsdiskontinuitätskanten können jedoch unvermeidlich weiterhin in der kompakten Oktaeder-Projektionsanordnung 310 existieren. Daher kann, wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte Oktaeder-Projektionsanordnung 310 festgelegt wird, die Bildqualität nah an den Bildinhaltsdiskontinuitätskanten nach einer Komprimierung schlecht sein.
  • Wenn die in 2 gezeigten dreieckigen Projektionsflächen „1“-„8“ in der kompakten Oktaeder-Projektionsanordnung 310 neu angeordnet und gepackt werden, müssen einige dreieckige Projektionsflächen geteilt und versetzt werden, was zu einer Bildinhaltsdiskontinuität des Äquators 208 in dem projektionsbasierten Rahmen IMG führt. Allgemein repräsentieren der obere und untere Bereich der Kugel 202 gewöhnlich jeweils „Himmel“ und „Grund“, und sich bewegende Objekte in der umliegenden Umgebung befinden sich meistens an dem Äquator 208 der Kugel 202. Wenn der Äquator 208, der in dem projektionsbasierten Rahmen IMG repräsentiert wird, eine Bildinhaltsdiskontinuität aufweist, werden die Codierungseffizienz und die Bildqualität dramatisch verschlechtert. Die Codierungseffizienz und die Bildqualität können verbessert werden, wenn der Äquator 208 der Kugel 202 entlang von Mitten der dreieckigen Projektionsflächen oder anderen Positionen als Seiten der dreieckigen Projektionsflächen abgebildet wird.
  • 4 ist ein Diagramm, das dreieckige Projektionsflächen eines Oktaeder-Projektionsformats, welche von einer Oktaeder-Projektion einer Kugel gemäß einem rotierten Oktaeder erhalten werden, darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 202 wird auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszeichen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) eines rotierten Oktaeders 404 abgebildet. Der in 4 gezeigte rotierte Oktaeder 404 kann durch Anwenden einer 90-Grad-Rotation auf den in 2 gezeigten Oktaeder 204 erhalten werden. Wie in 4 gezeigt, sind die dreieckigen Projektionsflächen „1“-„8“ in einer Oktaeder-Projektionsanordnung 406 gepackt. Eine Form jeder der dreieckigen Projektionsflächen „1“-„8“ ist in gleichseitiges Dreieck. Für eine dreieckige Projektionsfläche „K“ (K=1-8) weist diese Fläche drei Seiten auf, die als SK1, SK2 und SK3 gekennzeichnet sind. Die Kugel 202 ist aus einer linken Hemisphäre und einer rechten Hemisphäre aufgebaut. Die dreieckigen Projektionsflächen „1“, „2“, „3“ und „4“ sind alle von der rechten Hemisphäre hergeleitet, und die dreieckigen Projektionsflächen „5“, „6“, „7“ und „8“ sind alle von der linken Hemisphäre hergeleitet. Aufgrund einer Oktaeder-Projektion auf dem rotierten Oktaeder 404 wird der Äquator 208 der Kugel 202 nicht entlang einer Seite jeder dreieckigen Projektionsfläche abgebildet. In dieser Ausführungsform wird der Äquator 208 der Kugel 202 entlang von Mitten der dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ abgebildet, wie durch gestrichelte Linien in 4 angezeigt. Wie vorstehend erwähnt, muss der zu codierende projektionsbasierte Rahmen IMG rechteckig sein. Daher sollte eine kompakte Oktaeder-Projektionsanordnung von dem projektionsbasierten Rahmen IMG verwendet werden.
  • Es sei auf 4 in Verbindung mit 5 verwiesen. 5 ist ein Diagramm, das eine zweite kompakte Oktaeder-Projektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Äquator 208 der Kugel 202 wird entlang von Mitten der dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ abgebildet, wie durch gestrichelte Linien in 5 angezeigt. Die kompakte Oktaeder-Projektionsanordnung 510 wird von der Oktaeder-Projektionsanordnung 406 mit einer Dreieckprojektionsflächenrotation und einer Dreieckprojektionsflächenteilung hergeleitet. Wie in dem mittleren Teil von 5 gezeigt, wird die dreieckige Projektionsfläche „7“ in der Oktaeder-Projektionsanordnung 406 um 60° im Uhrzeigersinn rotiert, die dreieckige Projektionsfläche „5“ in der Oktaeder-Projektionsanordnung 406 wird um 60° gegen den Uhrzeigersinn rotiert, die dreieckige Projektionsfläche „3“ in der Oktaeder-Projektionsanordnung 406 wird um 60° gegen den Uhrzeigersinn rotiert, und die dreieckige Projektionsfläche „1“ in der Oktaeder-Projektionsanordnung 406 wird um 60° im Uhrzeigersinn rotiert. Daher berührt die Seite S72 der dreieckigen Projektionsfläche „7“ die Seite S61 der dreieckigen Projektionsfläche „6“, berührt die Seite S51 der dreieckigen Projektionsfläche „5“ die Seite S62 der dreieckigen Projektionsfläche „6“, berührt die Seite S31 der dreieckigen Projektionsfläche „3“ die Seite S22 der dreieckigen Projektionsfläche „2“ und berührt die Seite S12 der dreieckigen Projektionsfläche „1“ die Seite S21 der dreieckigen Projektionsfläche „2“.
  • Wie in dem mittleren Teil von 5 gezeigt, existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S72 der dreieckigen Projektionsfläche „7“ und der Seite S61 der dreieckigen Projektionsfläche „6“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „6“ und „7“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S51 der dreieckigen Projektionsfläche „5“ und der Seite S62 der dreieckigen Projektionsfläche „6“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „5“ und „6“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S31 der dreieckigen Projektionsfläche „3“ und der Seite S22 der dreieckigen Projektionsfläche „2“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „3“ repräsentiert), existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S12 der dreieckigen Projektionsfläche „1“ und der Seite S21 der dreieckigen Projektionsfläche „2“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „1“ und „2“ repräsentiert), und existiert eine Bildinhaltskontinuitätsgrenze zwischen der Seite S23 der dreieckigen Projektionsfläche „2“ und der Seite S63 der dreieckigen Projektionsfläche „6“ (d. h., ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „2“ und „6“ repräsentiert).
  • Zusätzlich wird die dreieckige Projektionsfläche „4“ in der Oktaeder-Projektionsanordnung 406 in zwei rechtwinklig-dreieckig geformte Teile 502 und 504 geteilt, und die dreieckige Projektionsfläche „8“ in der Oktaeder-Projektionsanordnung 406 wird in zwei rechtwinklig-dreieckig geformte Teile 506 und 508 geteilt. Wie in dem rechten Teil von 5 gezeigt, sind der rechtwinklig-dreieckig geformte Teil 504 der dreieckigen Projektionsfläche „4“ und der rechtwinklig-dreieckig geformte Teil 508 der dreieckigen Projektionsfläche „8“ jeweils mit den dreieckigen Projektionsflächen „1“ und „5“ verbunden; und der rechtwinklig-dreieckig geformte Teil 502 der dreieckigen Projektionsfläche „4“ und der rechtwinklig-dreieckig geformte Teil 506 der dreieckigen Projektionsfläche „8“ sind versetzt und jeweils mit den dreieckigen Projektionsflächen „3“ und „7“ verbunden.
  • Der rechtwinklig-dreieckig geformte Teil 502 der dreieckigen Projektionsfläche „4“ weist drei Seiten S411, S412 und S43_1 auf, wobei die Seite S411 die Seite S41 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_1 ein erster Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist. Der rechtwinklig-dreieckig geformte Teil 504 der dreieckigen Projektionsfläche „4“ weist drei Seiten S421, S422 und S43_2 auf, wobei die Seite S421 die Seite S42 der dreieckigen Projektionsfläche „4“ ist, und die Seite S43_2 ein zweiter Teil der Seite S43 der dreieckigen Projektionsfläche „4“ ist.
  • Der rechtwinklig-dreieckig geformte Teil 506 der dreieckigen Projektionsfläche „8“ weist drei Seiten S821, S822 und S83_1 auf, wobei die Seite S821 die Seite S82 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_1 ein erster Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist. Der rechtwinklig-dreieckig geformte Teil 508 der dreieckigen Projektionsfläche „8“ weist drei Seiten S811, S812 und S83_2 auf, wobei die Seite S811 die Seite S81 der dreieckigen Projektionsfläche „8“ ist, und die Seite S83_2 ein zweiter Teil der Seite S83 der dreieckigen Projektionsfläche „8“ ist.
  • Gemäß der kompakten Oktaeder-Projektionsanordnung 510 berührt die Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ die Seite S13 der dreieckigen Projektionsfläche „1“, berührt die Seite S43_2 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ die Seite S83_2 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“, berührt die Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ die Seite S53 der dreieckigen Projektionsfläche „5“, berührt die Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ die Seite S33 der dreieckigen Projektionsfläche „3“, berührt die Seite S43_1 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ die Seite S83_1 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“, und berührt die Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ die Seite S73 der dreieckigen Projektionsfläche „7“.
  • Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S43_2 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S83_2 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“. Eine Bildinhaltskontinuitätsgrenze existiert zwischen der Seite S43_1 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S83_1 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“. Das heißt, ein Inhalt wird kontinuierlich in den dreieckigen Projektionsflächen „4“ und „8“ repräsentiert. Weiter existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“, eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“, eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“ und eine Bildinhaltsdiskontinuitätskante existiert zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“.
  • In dem rechten Teil von 5 ist die 360-VR-Projektionsanordnung L_VR, die durch eine Form der kompakten Oktaeder-Projektionsanordnung 510 eingerichtet ist, ein Rechteck ohne Dummy-Bereiche (z. B. schwarze Bereiche, graue Bereiche oder weiße Bereiche). Zusätzlich wird ein Teil des 360-Grad-Bild-/Video-Inhalts kontinuierlich in den dreieckigen Projektionsflächen „1“, „2“, „3“, „5“, „6“, „7“ ohne eine Bildinhaltsdiskontinuität repräsentiert. Weiterhin weist der Äquator 208, der durch die dreieckigen Projektionsflächen „2“, „4“, „6“ und „8“ in dem projektionsbasierten Bild IMG (welches die kompakte Oktaeder-Projektionsanordnung 510 verwendet) repräsentiert wird, keine Bildinhaltsdiskontinuität auf, die von einer Dreieckprojektionsflächenteilung resultiert. Einige Bildinhaltsdiskontinuitätskanten existieren jedoch weiterhin unvermeidlich in der kompakten Oktaeder-Projektionsanordnung 510. Daher kann, wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte Oktaeder-Projektionsanordnung 510 festgelegt ist, die Bildqualität nahe den Bildinhaltsdiskontinuitätskanten nach einer Komprimierung schlecht sein.
  • Um das vorstehend genannte Bildqualitätsverschlechterungsproblem zu adressieren, schlägt die vorliegende Erfindung einen innovativen 360-VR-Projektionsanordnungsentwurf mit einer Auffüllung vor, welcher in der Lage ist, die Bildqualität an Kanten von (einer) Projektionsfläche(n) nach einer Komprimierung zu verbessern. Zum Beispiel kann die 360-VR-Projektionsanordnung L_VR durch eine kompakte Würfelabbildungsanordnung mit einer Auffüllung oder eine kompakte Oktaeder-Anordnung mit einer Auffüllung festgelegt sein. Insbesondere empfängt die Konvertierungsschaltung 114 einen Rundum-Bild-/Video-Inhalt der Kugel 202 von der Video-Aufnahmevorrichtung 112 und erhält eine Mehrzahl von Projektionsflächen von dem Rundum-Bild-/Video-Inhalt der Kugel 202, wobei der Rundum-Bild-/Video-Inhalt der Kugel 202 über eine ausgewählte 360-VR-Projektion (z. B. Würfelabbildungsprojektion oder Oktaeder-Projektion) auf die Projektionsflächen abgebildet wird. Wie in 1 gezeigt, weist die Konvertierungsschaltung 114 eine Auffüllschaltung 115 auf, welche eingerichtet ist, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch Packen der Projektionsflächen und mindestens eines Auffüllbereichs in der 360-VR-Projektionsanordnung L_VR (z. B. eine kompakte Würfelabbildungsanordnung mit einer Auffüllung oder eine kompakte Oktaeder-Anordnung mit einer Auffüllung).
  • Zum Beispiel weisen die Projektionsflächen, die in der 360-VR-Projektionsanordnung L_VR gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche auf, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer ersten Seite der ersten Projektionsfläche und einer ersten Seite der zweiten Projektionsfläche gibt, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt. Der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung L_VR gepackt ist, weist einen ersten Auffüllbereich auf, wobei der erste Auffüllbereich die erste Seite der ersten Projektionsfläche und die erste Seite der zweiten Projektionsfläche zum Isolieren der ersten Seite der ersten Projektionsfläche von der ersten Seite der zweiten Projektionsfläche in der 360-VR-Projejktionsanordnung L_VR berührt. Der erste Auffüllbereich ist absichtlich eingeführt, um mehr Informationen für einen Komprimierungsvorgang bereitzustellen. Auf diese Weise kann die Bildqualität der ersten Seite der ersten Projektionsfläche und der ersten Seite der zweiten Projektionsfläche nach einer Komprimierung verbessert werden.
  • 6 ist ein Diagramm, das eine erste kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die kompakte Oktaeder-Projektionsanordnung 310' festgelegt werden, die in 6 gezeigt ist. Die kompakte Oktaeder-Projektionsanordnung 310' kann von der in 3 gezeigten kompakten Oktaeder-Projektionsanordnung 310 hergeleitet werden. Hinsichtlich der in 3 gezeigten kompakten Oktaeder-Projektionsanordnung 310 existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“ und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“. Wie in 6 gezeigt, ist ein erster Auffüllbereich PR_1 eingefügt, sodass er die Seite S421 des rechtwinklig-dreieckig geformten Teils 306 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S42 der Projektionsfläche „4“ ist) und die Seite S13 der Projektionsfläche „1“ berührt, ist ein zweiter Auffüllbereich PR_2 eingefügt, sodass er die Seite S411 des rechtwinklig-dreieckig geformten Teils 308 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S41 der Projektionsfläche „4“ ist) und die Seite S33 der Projektionsfläche „3“ berührt, ist ein dritter Auffüllbereich PR_3 eingefügt, sodass er die Seite S811 des rechtwinklig-dreieckig geformten Teils 302 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S81 der Projektionsfläche „8“ ist) und die Seite S53 der Projektionsfläche „5“ berührt, und ist ein vierter Auffüllbereich PR_4 eingefügt, sodass er die Seite S821 des rechtwinklig-dreieckig geformten Teils 304 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S82 der Projektionsfläche „8“ ist) und die Seite S73 der Projektionsfläche „7“ berührt. Angenommen dass die Breite jedes Auffüllbereichs D ist und die in 3 gezeigte kompakte Oktaeder-Projektionsanordnung 310 die Breite W und die Höhe H aufweist, dann weist die in 6 gezeigte kompakte Oktaeder-Projektionsanordnung 310' eine Breite W+2D und eine Höhe H auf. Zum Beispiel kann die Breite D jedes Auffüllbereichs 16 Pixel sein.
  • 7 ist ein Diagramm, das eine zweite kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 7 gezeigte kompakte Oktaeder-Projektionsanordnung 510' festgelegt werden. Die kompakte Oktaeder-Projektionsanordnung 510' kann von der in 5 gezeigten kompakten Oktaeder-Projektionsanordnung 510 hergeleitet werden. Hinsichtlich der in 5 gezeigten kompakten Oktaeder-Projektionsanordnung 510 existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ und der Seite S73 der dreieckigen Projektionsfläche „7“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ und der Seite S33 der dreieckigen Projektionsfläche „3“, existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ und der Seite S53 der dreieckigen Projektionsfläche „5“ und existiert eine Bildinhaltsdiskontinuitätskante zwischen der Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ und der Seite S13 der dreieckigen Projektionsfläche „1“. Wie in 7 gezeigt, ist ein erster Auffüllbereich eingefügt, sodass er die Seite S421 des rechtwinklig-dreieckig geformten Teils 504 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S42 der Projektionsfläche „4“ ist) und die Seite S13 der Projektionsfläche „1“ berührt, ist ein zweiter Auffüllbereich PR_2 eingefügt, sodass er die Seite S411 des rechtwinklig-dreieckig geformten Teils 502 der dreieckigen Projektionsfläche „4“ (welche auch die Seite S41 der Projektionsfläche „4“ ist) und die Seite S33 der Projektionsfläche „3“ berührt, ist ein dritter Auffüllbereich PR_3 eingefügt, sodass er die Seite S811 des rechtwinklig-dreieckig geformten Teils 508 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S81 der Projektionsfläche „8“ ist) und die Seite S53 der Projektionsfläche „5“ berührt und ist ein vierter Auffüllbereich PR_4 eingefügt, sodass er die Seite S821 des rechtwinklig-dreieckig geformten Teils 506 der dreieckigen Projektionsfläche „8“ (welche auch die Seite S82 der Projektionsfläche „8“ ist) und die Seite S73 der Projektionsfläche „7“ berührt. Angenommen dass die Höhe jedes Auffüllbereichs D ist und die in 5 gezeigte kompakte Oktaeder-Projektionsanordnung 510 eine Breite W und eine Höhe H aufweist, dann weist die in 7 gezeigte kompakte Oktaeder-Projektionsanordnung 510' eine Breite W und eine Höhe H+2D auf. Zum Beispiel kann die Höhe D jedes Auffüllbereichs 16 Pixel sein.
  • In einer beispielhaften Auffüllimplementierung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch eine Interpolation fest, welche auf Pixelwerten von Pixeln basiert, die in angrenzenden Projektionsflächen, die den Auffüllbereich berühren, enthalten sind. Hinsichtlich jeder der in 6 gezeigten kompakten Oktaeder-Projektionsanordnung 310' und der in 7 gezeigten kompakten Oktaeder-Projektionsanordnung 510' werden Pixelwerte von Pixeln, die in dem ersten Auffüllbereich PR_1 enthalten sind, durch eine Interpolation gewonnen, welche auf Pixelwerten von Pixeln basiert, die in den angrenzenden Projektionsflächen „1“ und „4“ enthalten sind, werden Pixelwerte von Pixeln, die in dem zweiten Auffüllbereich PR_2 enthalten sind, durch eine Interpolation gewonnen, welche auf Pixelwerten von Pixeln basiert, die in den angrenzenden Projektionsflächen „3“ und „4“ enthalten sind, werden Pixelwerte von Pixeln, die in dem dritten Auffüllbereich PR_3 enthalten sind, durch eine Interpolation gewonnen, welche auf Pixelwerten von Pixeln basiert, die in den angrenzenden Projektionsflächen „3“ und „5“ enthalten sind, und werden Pixelwerte von Pixeln, die in dem vierten Auffüllbereich PR_4 enthalten sind, durch eine Interpolation gewonnen, welche auf Pixelwerten von Pixeln basiert, die in den angrenzenden Projektionsflächen „7“ und „8“ enthalten sind.
  • Die eingesetzte Interpolation kann eine Nächster-Nachbar-Interpolation, eine lineare Interpolation, eine bilineare Interpolation oder ein anderer geeigneter Interpolationsalgorithmus sein. Die Abtastpunkte, die von der eingesetzten Interpolation verwendet werden, können von einer einzelnen Richtung oder verschiedenen Richtungen erhalten werden. 8 ist ein Diagramm, das Beispiele einer Interpolation darstellt, die durch eine in 1 gezeigte Auffüllschaltung 115 ausgeführt wird. Ein Auffüllbereich PR muss zwischen benachbarten Projektionsflächen A1 und A2 eingefügt werden, welche von einer ausgewählten 360-VR-Projektion einer Kugel erhalten werden, wobei eine Bildinhaltsdiskontinuitätskante zwischen den benachbarten Projektionsflächen A1 und A2 existiert, wenn die Projektionsfläche A1 die Projektionsfläche A2 berührt. Wie in dem Unterdiagramm (A) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d. h. Pixel) P1 und P2 ausgeführt, die von den benachbarten Projektionsflächen A1 und A2 in der vertikalen Richtung erhalten werden. Daher wird ein interpolierter Abtastpunkt (d. h. ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte P1 und P2, einem Abstand zwischen dem Abtastpunkt P1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt P2 und dem interpolierten Abtastpunkt S bestimmt.
  • Wie in dem Unterdiagramm (B) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d. h. Pixel) Q1 und Q2 ausgeführt, die von den benachbarten Projektionsflächen A1 und A2 in der horizontalen Richtung erhalten werden. Daher wird ein interpolierter Abtastpunkt (d. h. ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte Q1 und Q2, einem Abstand zwischen dem Abtastpunkt Q1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt Q2 und dem interpolierten Abtastpunkt S bestimmt.
  • Wie in dem Unterdiagramm (C) von 8 gezeigt, wird eine Interpolation auf Abtastpunkte (d. h. Pixel) P1 und P2, die von den benachbarten Projektionsflächen A1 und A2 in der vertikalen Richtung erhalten werden, und Abtastpunkte (d. h. Pixel) Q1 und Q2, die von den benachbarten Projektionsflächen A1 und A2 in der horizontalen Richtung erhalten werden, ausgeführt. Daher wird ein interpolierter Abtastpunkt (d. h. ein interpoliertes Pixel) S gemäß Abtastwerten der Abtastpunkte P1, P2, Q1 und Q2, einem Abstand zwischen dem Abtastpunkt P1 und dem interpolierten Abtastpunkt S, einem Abstand zwischen dem Abtastpunkt P2 und dem interpolierten Abtastpunkt S, einem Abstand zwischen dem Abtastpunkt Q1 und dem interpolierten Abtastpunkt S und einem Abstand zwischen dem Abtastpunkt Q2 und dem interpolierten Abtastpunkt S bestimmt.
  • In einer anderen beispielhaften Auffüllimplementierung wendet die Auffüllschaltung 115 eine erste Geometrie-Auffüllung auf eine der benachbarten Projektionsflächen an, um erste Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, zu bestimmen, wendet eine zweite Geometrie-Auffüllung auf die andere der benachbarten Projektionsflächen an, um zweite Pixelwerte der Pixel, die in dem Auffüllbereich enthalten sind, zu bestimmen, und legt Pixelwerte der Pixel, die in dem Auffüllbereich enthalten sind, durch Mischen der ersten Pixelwerte, die von der ersten Geometrie-Auffüllung hergeleitet werden, und der zweiten Pixelwerte, die von der zweiten Geometrie-Auffüllung hergeleitet werden, fest. 9 ist ein Diagramm, das ein Beispiel einer Geometrie-Auffüllung darstellt, das durch die in 1 gezeigte Auffüllschaltung 115 ausgeführt wird. Ein Auffüllbereich PR muss zwischen benachbarten Projektionsflächen A1 und A2 eingefügt werden, welche über eine ausgewählte 360-VR-Projektion einer Kugel erhalten werden, wobei eine Bildinhaltsdiskontinuitätskante zwischen den benachbarten Projektionsflächen A1 und A2 existiert, wenn die Projektionsfläche A1 die Projektionsfläche A2 berührt. Die erste Geometrie-Auffüllung, die auf die Projektionsfläche A1 angewendet wird, bestimmt einen Geometrie-Abbildungsbereich A1_GP, wobei der Geometrie-Abbildungsbereich A1_GP von einem Abbilden des Inhalts eines Bereichs auf einer Kugel (z. B. die in 2/4 gezeigte Kugel 202) auf den Auffüllbereich PR erhalten wird, wobei der Bereich auf der Kugel zu einem Bereich benachbart ist, von welchem die Projektionsfläche A1 erhalten wird. Daher gibt es eine Bildinhaltskontinuitätsgrenze zwischen der Projektionsfläche A1 und dem Geometrie-Abbildungsbereich A1_GP, der sich von der Projektionsfläche A1 erstreckt (d. h., ein Inhalt wird kontinuierlich in der Projektionsfläche A1 und dem Geometrie-Abbildungsbereich A1_GP repräsentiert).
  • Die zweite Geometrie-Auffüllung, die auf die Projektionsfläche A2 angewendet wird, bestimmt einen anderen Geometrie-Abbildungsbereich A2_GP, wobei das Geometrie-Abbildungsergebnis A2_GP von einem Abbilden des Inhalts eines Bereichs auf einer Kugel (z. B. die in 2/4 gezeigte Kugel 202) auf den Auffüllbereich PR erhalten wird, wobei der Bereich auf der Kugel zu einem Bereich benachbart ist, von welchem die Projektionsfläche A2 erhalten wird. Daher gibt es eine Bildinhaltskontinuitätsgrenze zwischen der Projektionsfläche A2 und dem Geometrie-Abbildungsbereich A2_GP, der sich von der Projektionsfläche A2 erstreckt (d. h., ein Inhalt wird kontinuierlich in der Projektionsfläche A2 und dem Geometrie-Abbildungsbereich A2_GP repräsentiert).
  • Nachdem die Geometrie-Abbildungsbereiche A1_GP und A2_GP, die zu dem gleichen Auffüllbereich PR gehören, erhalten worden sind, mischt die Auffüllschaltung 115 die Geometrie-Abbildungsbereiche A1_GP und A2_GP, um Pixelwerte von Pixeln, die in dem Auffüllbereich PR enthalten sind, zu bestimmen. Das heißt, PR=f(A1_GP, A2_GP), wobei f() ein Misch-Funktion ist. Zum Beispiel kann die Mischfunktion f() eine Mittelwert-Funktion sein. Hinsichtlich jedes Pixels in dem Auffüllbereich PR wird ein Pixelwert des Pixels in dem Auffüllbereich PR durch einen Mittelwert eines ersten Pixelwerts des Pixels in dem Geometrie-Abbildungsbereich A1_GP und eines zweiten Pixelwerts des Pixels in dem Geometrie-Abbildungsbereich A2_GP festgelegt.
  • In noch einer anderen beispielhaften Auffüllimplementierung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch Vervielfältigen von Pixelwerten von Pixeln, die in angrenzenden Projektionsflächen enthalten sind, welche von einer ausgewählten 360-VR-Projektions einer Kugel erhalten werden. Zum Beispiel werden Randpixel auf einer Seite der Projektionsfläche A1 vervielfältigt, um Auffüllpixel zu erzeugen, die von der Seite der Projektionsfläche A1 erweitert sind, und Randpixel auf einer Seite der Projektionsfläche A2 werden vervielfältigt, um Auffüllpixel zu erzeugen, die von der Seite der Projektionsfläche A2 erweitert sind. Mit anderen Worten enthält ein erster Teil des Auffüllbereichs PR Auffüllpixel, die jeweils ein Duplikat eines Randpixels der Projektionsfläche A1 sind, und ein zweiter Teil des Auffüllbereichs PR enthält Auffüllpixel, die jeweils ein Duplikat eines Randpixels der Projektionsfläche A2 sind.
  • Mit der Hilfe eines Auffüllbereichs, der zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche eingefügt ist, welche eine Bildinhaltsdiskontinuitätskante zwischen einer ersten Seite der ersten Projektionsfläche und einer ersten Seite der zweiten Projektionsfläche aufweisen, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt, können die Bildqualität der ersten Seite der ersten Projektionsfläche nach einer Komprimierung und die Bildqualität der ersten Seite der zweiten Projektionsfläche nach einer Komprimierung verbessert werden. Die Projektionsflächen, die in dem decodierten Rahmen IMG' enthalten sind, der von der Decodierungsschaltung 122 generiert wird, können eine bessere Bildqualität aufweisen. Wie vorstehend erwähnt, gibt die graphische Wiedergabeschaltung 124 gemäß dem decodierten Rahmen IMG' Ausgangsbilddaten wieder und zeigt sie auf dem Anzeigeschirm 126 an. Da der (die) Auffüllbereich(e) in dem decodierten Rahmen IMG' zusätzlich hinzugefügt sind und nicht darstellbar sein können, können der (die) Auffüllbereich(e) in dem decodierten Rahmen IMG' durch die graphische Wiedergabeschaltung 124 verworfen/ignoriert werden, nachdem der decodierte Rahmen IMG' von der Decodierungsschaltung 122 generiert worden ist.
  • Wie in 6 und 7 gezeigt, wird eine Auffüllung zu kompakten Oktaeder-Projektionsanordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Bildinhaltsdiskontinuitätskanten hinzugefügt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In der Praxis kann eine Auffüllung zu anderen 360-VR-Projektionsanordnungen für eine Bildqualitätsverbesserung einer Komprimierung an Bildinhaltsdiskontinuitätskanten hinzugefügt werden. Diese alternativen Projektionsentwürfe mit einer Auffüllung fallen alle in den Umfang der vorliegenden Erfindung.
  • 10 ist ein Diagramm, das eine kompakte Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt einer Kugel wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet, wobei die quadratischen Projektionsflächen eine durch „L“ gekennzeichnete linke Projektionsfläche, eine durch „FR“ gekennzeichnete vordere Projektionsfläche, eine durch „R“ gekennzeichnete rechte Projektionsfläche, eine durch „T“ gekennzeichnete obere Projektionsfläche, eine durch „BK“ gekennzeichnete hintere Projektionsfläche und eine durch „B“ gekennzeichnete untere Projektionsfläche umfassen. Eine Bildinhaltsdiskontinuitätskante existiert zwischen der linken Projektionsfläche „L“ und der unteren Projektionsfläche „B“, wenn die untere Seite der linken Projektionsfläche „L“ die obere Seite der unteren Projektionsfläche „B“ in einer kompakten Würfelabbildungsprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK, wenn die untere Seite der vorderen Projektionsfläche FR die obere Seite der hinteren Projektionsfläche BK in der kompakten Würfelabbildungsprojektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen der rechten Projektionsfläche R und der oberen Projektionsfläche T, wenn die untere Seite der rechten Projektionsfläche R die obere Seite der oberen Projektionsfläche T in der kompakten Würfelabbildungsprojektionsanordnung ohne Auffüllung berührt. Gemäß der in 10 gezeigten kompakten Würfelabbildungsprojektionsanordnung 1002 wird ein erster Auffüllbereich PR_1 zwischen der linken Projektionsfläche L und der oberen Projektionsfläche T eingefügt, wird ein zweiter Auffüllbereich PR_2 zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK eingefügt, und wird ein dritter Auffüllbereich PR_3 zwischen der rechten Projektionsfläche R und der unteren Projektionsfläche B eingefügt. Jeder der Auffüllbereich PR_1-PR_3 kann unter Verwendung einer der vorstehend genannten Interpolationsart, Geometrie-Auffüllungsart und Vervielfältigungsart generiert werden.
  • Zum Beispiel kann die Vervielfältigungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Randpixel einer Projektionsfläche verteilen. Daher weist ein erster Teil eines Auffüllbereichs, der zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche eingefügt wird, Auffüllpixel auf, die jeweils ein Duplikat eines Randpixels der ersten Projektionsfläche sind, und ein zweiter Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird, weist Auffüllpixel auf, die jeweils ein Duplikat eines Randpixels der zweiten Projektionsfläche sind.
  • Als ein anderes Beispiel kann die Vervielfältigungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Pixelwerte von Pixeln, die in dem Auffüllbereich enthalten sind, durch Vervielfältigen von Pixelwerten von Pixeln festlegen, welche in der ersten Projektionsfläche und der zweiten Projektionsfläche enthalten sind, aber nicht den Auffüllbereich berühren, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird. In einem Fall, in welchem die Vervielfältigungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, ein Duplikat eines Teilbereichs in einer Projektionsfläche erhält. Ein erster Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird, ist ein Duplikat eines Teilbereichs der ersten Projektionsfläche, und ein zweiter Teil des Auffüllbereichs, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird, ist ein Duplikat eines Teilbereichs der zweiten Projektionsfläche, wobei keiner des Teilbereichs der ersten Projektionsfläche und des Teilbereichs der zweiten Projektionsfläche den Auffüllbereich berührt, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird.
  • Als noch ein anderes Beispiel kann die Vervielfältigungsart, die von der vorgeschlagenen Auffülltechnik verwendet wird, Pixelwerte von Pixeln, die in dem Auffüllbereich enthalten sind, der zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche eingefügt wird, durch Vervielfältigen von Pixelwerten von Pixeln festlegen, die in mindestens einer Projektionsfläche enthalten sind, die sich von der ersten Projektionsfläche und der zweiten Projektionsfläche unterscheidet. Die in 10 gezeigte kompakte Würfelabbildungsprojektionsanordnung 1002 als Beispiel genommen, kann der erste Auffüllbereich PR_1, der zwischen der linken Projektionsfläche L und der unteren Projektionsfläche B eingefügt wird, durch Vervielfältigen von Pixeln (z. B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z. B. FR, BK, R und/oder T) festgelegt werden, welche keine der linken Projektionsfläche L und der unteren Projektionsfläche B ist, kann der zweite Auffüllbereich PR_2, der zwischen der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK eingefügt wird, durch Vervielfältigen von Pixeln (z. B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z. B. L, B, R und/oder T) festgelegt werden, welche keine der vorderen Projektionsfläche FR und der hinteren Projektionsfläche BK ist, und/oder kann der dritte Auffüllbereich PR_3, der zwischen der rechten Projektionsfläche R und der oberen Projektionsfläche T eingefügt wird, durch Vervielfältigen von Pixeln (z. B. Pixel eines Teilbereichs) in mindestens einer Projektionsfläche (z. B. L, B, FR und/oder BK) festgelegt werden, welche keine der rechten Projektionsfläche R und der oberen Projektionsfläche T ist.
  • 11 ist ein Diagramm, das eine dritte kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt einer Kugel wird über eine Oktaeder-Projektion auf acht dreieckige Projektionsflächen (gekennzeichnet durch Bezugszeichen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) abgebildet. Die dreieckige Projektionsfläche „8“ wird in zwei rechtwinklig-dreieckig geformte Teile geteilt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen einem rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ und der dreieckigen Projektionsfläche „1“, wenn eine Seite des rechtwinklig-dreieckig geformten Teils eine Seite der dreieckigen Projektionsfläche „1“ in einer kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „1“ und „5“, wenn eine andere Seite der Projektionsfläche „1“ eine Seite der dreieckigen Projektionsfläche „5“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „5“ und „2“, wenn eine andere Seite der dreieckigen Projektionsfläche „5“ eine Seite der dreieckigen Projektionsfläche „2“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „2“ und „6“, wenn eine andere Seite der dreieckigen Projektionsfläche „2“ eine Seite der dreieckigen Projektionsfläche „6“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „6“ und „3“, wenn eine andere Seite der Projektionsfläche „6“ eine Seite der dreieckigen Projektionsfläche „3“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „3“ und „7“, wenn eine andere Seite der dreieckigen Projektionsfläche „3“ eine Seite der dreieckigen Projektionsfläche „7“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den dreieckigen Projektionsflächen „7“ und „4“, wenn eine andere Seite der dreieckigen Projektionsfläche „7“ eine Seite der dreieckigen Projektionsfläche „4“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt. Eine Bildinhaltsdiskontinuitätskante existiert zwischen dem anderen rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ und der dreieckigen Projektionsfläche „4“, wenn eine Seite des rechtwinklig-dreieckig geformten Teils eine andere Seite der dreieckigen Projektionsfläche „4“ in der kompakten Oktaeder-Projektionsanordnung ohne Auffüllung berührt.
  • Gemäß der in 11 gezeigten kompakten Oktaeder-Projektionsanordnung 1102 wird ein erster Auffüllbereich PR_1 zwischen der dreieckigen Projektionsfläche „1“ und einem rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ eingefügt, wird ein zweiter Auffüllbereich PR_2 zwischen den dreieckigen Projektionsflächen „1“ und „5“ eingefügt, wird ein dritter Auffüllbereich PR_3 zwischen den dreieckigen Projektionsflächen „5“ und „2“ eingefügt, wird ein vierter Auffüllbereich PR_4 zwischen den dreieckigen Projektionsflächen „2“ und „6“ eingefügt, wird ein fünfter Auffüllbereich PR_5 zwischen den dreieckigen Projektionsflächen „6“ und „3“ eingefügt, wird ein sechster Auffüllbereich PR_6 zwischen den dreieckigen Projektionsflächen „3“ und „7“ eingefügt, wird ein siebter Auffüllbereich PR_7 zwischen den dreieckigen Projektionsflächen „7“ und „4“ eingefügt und wird ein achter Auffüllbereich PR_8 zwischen der dreieckigen Projektionsfläche „4“ und dem anderen rechtwinklig-dreieckig geformten Teil der dreieckigen Projektionsfläche „8“ eingefügt. Jeder der Auffüllbereiche PR_1-PR_8 kann unter Verwendung einer der vorstehend genannten Interpolationsart, Geometrie-Auffüllungsart und Vervielfältigungsart generiert werden.
  • Zusätzlich zu der Bildqualität von Bildinhaltsdiskontinuitätskanten nach einer Komprimierung kann durch die vorgeschlagene Auffülltechnik die Bildqualität von Anordnungsgrenzen nach einer Komprimierung verbessert werden. Zum Beispiel wird, wenn der Rundum-Bild-/Video-Inhalt einer Kugel über eine Äquirektangular-Projektion (ERP) oder eine flächengleiche Projektion (EAP) abgebildet wird, nur eine einzelne Projektionsfläche generiert und in einer ERP-/EAP-Anordnung angeordnet. Wenn ein Blickwinkel eines Viewport 180 Grad ist, werden ein decodierter Teilbereich, der sich an dem linken Rand der ERP-/EAP-Anordnung befindet, und ein decodierter Teilbereich, der sich an dem rechten Rand der ERP-/EAP-Anordnung befindet ausgewählt und kombiniert, um einen darzustellenden Viewport-Bereich zu bilden. Da Blöcke an dem linken Rand und Blöcke an dem rechten Rand der typischen ERP-/EAP-Anordnung unabhängig codiert werden, ist es möglich, dass der Viewport-Bereich Artefakte entlang einer Kante aufweist, die von einer Kombination des decodierten Teilbereichs, der sich an dem linken Rand der ERP-/EAP-Anordnung befindet, und des decodierten Teilbereichs, der sich an dem rechten Rand der ERP-/EAP-Anordnung befindet, resultieren. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung weiter ein Hinzufügen von Auffüllbereichen zu den Anordnungsrändern vor, um mehr Informationen für einen Komprimierungsvorgang bereitzustellen.
  • 12 ist ein Diagramm, das eine erste ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_R ist in einer ERP-/EAP-Anordnung 1202 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP-/EAP-Anordnung 1202. Zusätzlich weist die Projektionsfläche A in der ERP-/EAP-Anordnung 1202 einen ersten Teilbereich P_L und einen zweiten Teilbereich P_R auf, wobei der erste Teilbereich P_L Randpixel an der linken Seite S_L aufweist und der zweite Teilbereich P_R Randpixel an der rechten Seite S_R aufweist. Die 360-VR-Projektionsanorndung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 12 gezeigte ERP-/EAP-Anordnung 1202' festgelegt sein. Die ERP-/EAP-Anordnung 1202' kann von der ERP-/EAP-Anordnung 1202 hergeleitet werden. Die Projektionsfläche A wird über eine Äquirektangular-Projektion/flächengleiche Projektion einer Kugel erhalten. Die Projektionsfläche A, ein erste Auffüllbereich PR_L und ein zweiter Auffüllbereich PR_R sind in der ERP-/EAP-Anordnung 1202' gepackt. Wie in 12 gezeigt, berührt der erste Auffüllbereich PR_L die linke Seite S_L der Projektionsfläche A und bildet einen linken Rand der ERP-/EAP-Anordnung 1202', und der zweite Auffüllbereich PR_R berührt die rechte Seite S_R der Projektionsfläche A und bildet eine rechte Grenze der ERP-/EAP-Anordnung 1202'. Zum Beispiel kann die Breite des ersten Auffüllbereichs PR_L 8 Pixel sein, und die Breite des zweiten Auffüllbereichs PR_R kann 8 Pixel sein. Da die linke Seite S_L und die rechte Seite S_R der Projektionsfläche A gegenüberliegende Seiten sind, berührt der erste Auffüllbereich PR_L nicht die rechte Seite S_R der Projektionsfläche A, und der zweite Auffüllbereich PR_R berührt nicht die linke Seite S_L der Projektionsfläche A.
  • In dieser Ausführungsform ist der erste Auffüllbereich PR_L ein Duplikat des zweiten Teilbereichs P_R der Projektionsfläche A, und der zweite Auffüllbereich PR_R ist ein Duplikat des ersten Teilbereichs P_L der Projektionsfläche A. Daher schließen Pixel des ersten Auffüllbereichs PR_L Randpixel an der rechten Seite S_R der Projektionsfläche A ein, aber schließen keine Randpixel an der linken Seite S_L der Projektionsfläche A ein; und Pixel des zweiten Auffüllbereichs PR_R schließen Randpixel an der linken Seite S_L der Projektionsfläche A ein, aber schließen keine Randpixel an der rechten Seite S_R der Projektionsfläche A ein. Aufgrund von vorgegebenen Charakteristiken der Äquirektangular-Projektion/flächengleichen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich PR_L und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1202' gepackt sind (d. h., ein Inhalt wird kontinuierlich in der Projektionsfläche A und dem ersten Auffüllbereich PR_L repräsentiert), und es gibt eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich PR_R und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1202' gepackt sind (d. h., ein Inhalt wird kontinuierlich in der Projektionsfläche A und dem zweiten Auffüllbereich PR_R repräsentiert).
  • Zusätzlich zu Auffüllbereichen, welche zu einer linken Seite und eine rechten Seite einer Projektionsfläche hinzugefügt werden, die über eine Äquirektangular-Projektion/flächengleiche Projektion erhalten wird, können Auffüllbereiche zu einer oberen Seite und einer unteren Seite der Projektionsfläche hinzugefügt werden, um mehr Informationen für einen Komprimierungsvorgang bereitzustellen.
  • 13 ist ein Diagramm, das eine zweite ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_R ist in einer ERP-/EAP-Anordnung 1302 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP-/EAP-Anordnung 1302. Zusätzlich weist die Projektionsfläche A in der ERP-/EAP-Anordnung 1302 eine Mehrzahl von Bildbereichen (gekennzeichnet durch Bezugszeichen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) auf. Die Bildbereiche „1“-„3“ bilden einen Teilbereich und enthalten Randpixel an der oberen Seite S_T. Die Bildbereiche „3“-„5“ bilden einen Teilbereich und enthalten Randpixel an der rechten Seite S_R. Die Bildbereiche „5“-„7“ bilden einen Teilbereich und enthalten Randpixel an der unteren Seite S_B. Die Bildbereiche „1“, „8“ und „7“ bilden einen Teilbereich und enthalten Randpixel an der linken Seite S_L.
  • Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 13 gezeigte ERP-/EAP-Anordnung 1302' festgelegt sein. Die ERP-/EAP-Anordnung 1302' kann von der ERP-/EAP-Anordnung 1302 hergeleitet werden. Die Projektionsfläche A wird über eine Äquirektangular-Projektion/flächengleiche Projektion einer Kugel erhalten. Wie in 13 gezeigt, wird ein erster Auffüllbereich, der mit der linken Seite S_L der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „3“-„5“ der Projektionsfläche A generiert, wird ein zweiter Auffüllbereich, der mit der rechten Seite S_R der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „1“, „8“ und „7“ der Projektionsfläche A generiert, wird ein dritter Auffüllbereich, der mit der oberen Seite S_T der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „1“-„3“ der Projektionsfläche A, um einen vervielfältigten Teilbereich zu erhalten, und dann Umdrehen des vervielfältigten Teilbereichs generiert, und wird ein vierter Auffüllbereich, der mit der unteren Seite S_B der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „5“-„7“ der Projektionsfläche A, um einen vervielfältigten Teilbereich zu erhalten, und dann Umdrehen des vervielfältigten Teilbereichs generiert.
  • Um zu erreichen, dass eine Form der ERP-/EAP-Anordnung 1302' ein Rechteck wird, wird ein Auffüllbereich an der oberen linken Ecke durch Vervielfältigen des Bildbereichs „3“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Umdrehen des vervielfältigten Auffüllbereichs generiert, wird ein Auffüllbereich an der oberen rechten Ecke durch Vervielfältigen des Bildbereichs „1“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Umdrehen des vervielfältigten Auffüllbereichs generiert, wird ein Auffüllbereich an der unteren linken Ecke durch Vervielfältigen des Bildbereichs „5“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Umdrehen des vervielfältigten Auffüllbereichs generiert, und wird ein Auffüllbereich an der unteren rechten Ecke durch Vervielfältigen des Bildbereichs „7“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Umdrehen des vervielfältigten Auffüllbereichs generiert.
  • Aufgrund vorgegebener Charakteristiken der Äquirektangular-Projektion/flächengleichen Projektion existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen linken Ecke und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen linken Ecke und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen rechten Ecke und dem zweiten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen rechten Ecke und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren linken Ecke und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren linken Ecke und dem vierten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren rechten Ecke und dem zweiten Auffüllbereich, und existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren rechten Ecke und dem vierten Auffüllbereich.
  • Wie in 13 gezeigt, bildet der erste Auffüllbereich, der mit der linken Seite S_L der Projektionsfläche A verbunden ist, einen Teil eines linken Rands der ERP-/EAP-Anordnung 1302', der zweite Auffüllbereich, der mit der rechten Seite S_R der Projektionsfläche A verbunden ist, bildet einen Teil eines rechten Rands er ERP-/EAP-Anordnung 1302', der dritte Auffüllbereich, der mit der oberen Seite S_T der Projektionsfläche A verbunden ist, bildet einen Teil eines oberen Rands er ERP-/EAP-Anordnung 1302', und der vierte Auffüllbereich, der mit der unteren Seite S_B der Projektionsfläche A verbunden ist, bildet einen Teil eines unteren Rands er ERP-/EAP-Anordnung 1302'. Aufgrund vorgegebener Charakteristiken der Äquirektangular-Projektion/flächengleichen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1302' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem ersten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1302' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem zweiten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem dritten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1302' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem dritten Auffüllbereich und der Projektionsfläche A repräsentiert), und gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem vierten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1302' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem vierten Auffüllbereich und der Projektionsfläche A repräsentiert).
  • 14 ist ein Diagramm, das eine dritte ERP-/EAP-Anordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine einzelne Projektionsfläche A mit einer oberen Seite S_T, einer unteren Seite S_B, einer linken Seite S_L und einer rechten Seite S_T ist in einer ERP-/EAP-Anordnung 1402 ohne Auffüllung angeordnet. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der ERP-/EAP-Anordnung 1402. Zusätzlich weist die Projektionsfläche A in der ERP-/EAP-Anordnung 1402 eine Mehrzahl von Bildbereichen (gekennzeichnet durch Bezugszeichen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) auf. Die Bildbereiche „1“-„3“ bilden einen Teilbereich und enthalten Randpixel an der oberen Seite S_T. Die Bildbereiche „3“-„5“ bilden einen Teilbereich und enthalten Randpixel an der rechten Seite S_R. Die Bildbereiche „5“-„7“ bilden einen Teilbereich und enthalten Randpixel an der unteren Seite S_B. Die Bildbereiche „7“-„8“ und „1“ bilden einen Teilbereich und enthalten Randpixel an der linken Seite S_L.
  • Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch die in 14 gezeigte ERP-/EAP-Anordnung 1402' festgelegt sein. Die ERP-/EAP-Anordnung 1402' kann von der typischen ERP-/EAP-Anordnung 1402 hergeleitet werden. Die Projektionsfläche A wird über eine Äquirektangular-Projektion/flächengleiche Projektion einer Kugel erhalten. Wie in 14 gezeigt, wird ein erster Auffüllbereich, der mit der linken Seite S_L der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „3“-„5“ der Projektionsfläche A generiert, wird ein zweiter Auffüllbereich, der mit der rechten Seite S_R der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „1“, „8“ und „7“ der Projektionsfläche A generiert, wird ein dritter Auffüllbereich, der mit der oberen Seite S_T der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „1“-„3“ der Projektionsfläche A, um einen vervielfältigten Teilbereich zu erhalten, und dann Rotieren des vervielfältigten Teilbereichs um 180° generiert, und wird ein vierter Auffüllbereich, der mit der unteren Seite S_B der Projektionsfläche A verbunden ist, durch Vervielfältigen der Bildbereiche „5“-„7“ der Projektionsfläche A, um einen vervielfältigten Teilbereich zu erhalten, und dann Rotieren des vervielfältigten Teilbereichs um 180° generiert.
  • Um zu erreichen, dass eine Form der ERP-/EAP-Anordnung 1402' ein Rechteck wird, wird ein Auffüllbereich an der oberen linken Ecke durch Vervielfältigen des Bildbereichs „1“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Rotieren des vervielfältigten Auffüllbereichs um 180° generiert, wird ein Auffüllbereich an der oberen rechten Ecke durch Vervielfältigen des Bildbereichs „3“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Rotieren des vervielfältigten Auffüllbereichs um 180° generiert, wird ein Auffüllbereich an der unteren linken Ecke durch Vervielfältigen des Bildbereichs „7“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Rotieren des vervielfältigten Auffüllbereichs um 180° generiert, und wird ein Auffüllbereich an der unteren rechten Ecke durch Vervielfältigen des Bildbereichs „5“, um einen vervielfältigten Auffüllbereich zu erhalten, und dann Rotieren des vervielfältigten Auffüllbereichs um 180° generiert.
  • Aufgrund vorgegebener Charakteristiken der Äquirektangular-Projektion/flächengleichen Projektion existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen linken Ecke und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen linken Ecke und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen rechten Ecke und dem zweiten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der oberen rechten Ecke und dem dritten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren linken Ecke und dem ersten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren linken Ecke und dem vierten Auffüllbereich, existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren rechten Ecke und dem zweiten Auffüllbereich, und existiert eine Bildinhaltskontinuitätsgrenze zwischen dem Auffüllbereich an der unteren rechten Ecke und dem vierten Auffüllbereich.
  • Wie in 14 gezeigt, bildet der erste Auffüllbereich, der mit der linken Seite S_L der Projektionsfläche A verbunden ist, einen Teil eines linken Rands der ERP-/EAP-Anordnung 1402', der zweite Auffüllbereich, der mit der rechten Seite S_R der Projektionsfläche A verbunden ist, bildet einen Teil eines rechten Rands er ERP-/EAP-Anordnung 1402', der dritte Auffüllbereich, der mit der oberen Seite S_T der Projektionsfläche A verbunden ist, bildet einen Teil eines oberen Rands er ERP-/EAP-Anordnung 1402', und der vierte Auffüllbereich, der mit der unteren Seite S_B der Projektionsfläche A verbunden ist, bildet einen Teil eines unteren Rands er ERP-/EAP-Anordnung 1402'. Aufgrund vorgegebener Charakteristiken der Äquirektangular-Projektion/flächengleichen Projektion gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1402' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem ersten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem zweiten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1402' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem zweiten Auffüllbereich und der Projektionsfläche A repräsentiert), gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem dritten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1402' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem dritten Auffüllbereich und der Projektionsfläche A repräsentiert), und gibt es eine Bildinhaltskontinuitätsgrenze zwischen dem vierten Auffüllbereich und der Projektionsfläche A, die in der ERP-/EAP-Anordnung 1402' gepackt sind (d. h., ein Inhalt wird kontinuierlich in dem vierten Auffüllbereich und der Projektionsfläche A repräsentiert).
  • Wie in 12-14 gezeigt, wird eine Auffüllung für eine Bildqualitätsverbesserung einer Komprimierung an Anordnungsrändern zu der ERP-/EAP-Anordnung hinzugefügt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In der Praxis kann eine Auffüllung für eine Bildqualitätsverbesserung einer Komprimierung an Anordnungsrändern zu anderen 360-VR-Projektionsanordnungen hinzugefügt werden. Diese alternativen Projektionsentwürfe mit einer Auffüllung fallen alle in den Umfang der vorliegenden Erfindung.
  • 15 ist ein Diagramm, das eine Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 16 ist ein Diagramm, das eine Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 17 ist ein Diagramm, das eine vierte kompakte Oktaeder-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 18 ist ein Diagramm, das eine kompakte Würfelabbildungs-Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Auffüllbereiche, die in der Projektionsanordnung 1502/1602/1702/1802 gepackt sind, können durch die vorstehend genannte Geometrie-Auffüllart generiert werden, welche eine Geometrie-Auffüllung auf eine Projektionsfläche anwendet, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, der mit der Projektionsfläche verbunden ist, oder können durch die vorstehend genannte Vervielfältigungsart generiert werden, welche Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, der mit einer Projektionsfläche verbunden ist, durch Vervielfältigen von Pixelwerten von Randpixeln der Projektionsfläche oder durch Vervielfältigen von Pixelwerten von Pixeln, welche in der Projektionsfläche enthalten sind aber den Auffüllbereich nicht berühren, oder durch Vervielfältigen von Pixelwerten von Pixeln, welche nicht in der Projektionsfläche enthalten sind, festlegt.
  • Es sollte beachtet werden, dass die vorstehend genannten Anordnungsbeispiele nur darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. In anderen Ausführungsformen der vorliegenden Erfindung kann eine 360-VR-Projektionsanordnung mit einer Auffüllung durch Hinzufügen von Auffüllbereichen zu einer Anordnung eines anderen Projektionsformats erhalten werden, wie eine Pyramiden-Projektionsanordnung, eine Tetraeder-Projektionsanordnung, eine tetragon-quarz-basierte Projektionsanordnung, eine Ikosaeder-Projektionsanordnung oder eine hexagon-quarz-basierte Projektionsanordnung.
  • Mit der Hilfe von Auffüllbereichen, die zu Rändern einer Projektionsanordnung hinzugefügt werden, kann die Bildqualität von Rändern noch einer Komprimierung verbessert werden. Wie vorstehend erwähnt, gibt die graphische Wiedergabeschaltung 124 Ausgabebilddaten gemäß dem decodierten Rahmen IMG' wieder und zeigt sie auf dem Anzeigeschirm 126 an. Da die Auffüllbereiche in dem decodierten Rahmen IMG' zusätzlich hinzugefügt sind und nicht darstellbar sein können, können die Auffüllbereiche in dem decodierten Rahmen IMG' durch die graphische Wiedergabeschaltung 124 verworfen/ignoriert werden, nachdem der decodierte Rahmen IMG' von der Decodierungsschaltung 122 generiert worden ist.
  • Diejenigen mit Kenntnissen auf dem Gebiet werden einfach erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens ausgeführt werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als nur durch die Maße und Grenzen der angehängten Ansprüche beschränkt ausgelegt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62470425 [0001]

Claims (21)

  1. Video-Verarbeitungsverfahren, umfassend: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsflächen abgebildet wird; und Erzeugen eines projektionsbasierten Rahmens durch eine Konvertierungsschaltung durch Generieren mindestens eines Auffüllbereichs und Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche berührt, um die eine Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung zu isolieren.
  2. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch eine Interpolation, welche auf Pixelwerten von Pixeln basiert, die in der ersten Projektionsfläche und der zweiten Projektionsfläche enthalten sind.
  3. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden einer ersten Geometrie-Auffüllung auf die erste Projektionsfläche, um erste Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind; Anwenden einer zweiten Geometrie-Auffüllung auf die zweite Projektionsfläche, um zweite Pixelwerte der Pixel zu bestimmen, die in dem ersten Auffüllbereich enthalten sind; und Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch Mischen der ersten Pixelwerte, die von der ersten Geometrie-Auffüllung hergeleitet werden, und der zweiten Pixelwerte, die von der zweiten Geometrie-Auffüllung hergeleitet werden.
  4. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Verdoppeln von Pixelwerten von Pixeln, die in der ersten Projektionsfläche und der zweiten Projektionsfläche enthalten sind.
  5. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, weiter mindestens eine Projektionsfläche aufweisen, die von der ersten Projektionsfläche und der zweiten Projektionsfläche verschieden ist, und das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Verdoppeln von Pixelwerten von Pixeln, die in der mindestens einen Projektionsfläche enthalten sind.
  6. Video-Verarbeitungsverfahren gemäß Anspruch 1, weiter umfassend: Codieren des projektionsbasierten Rahmens mit den Projektionsflächen und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, um einen Teil eines Bitstroms zu generieren.
  7. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die 360-VR-Projektion eine Oktaeder-Projektion ist, die 360-VR-Projektionsanordnung eine Oktaeder-Projektionsanordnung ist, die Projektionsflächen dreieckige Projektionsflächen sind, und ein Äquator der Kugel nicht entlang einer Seite jeder der dreieckigen Projektionsflächen abgebildet wird.
  8. Video-Verarbeitungsverfahren gemäß Anspruch 7, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, weiter eine dritte Projektionsfläche, eine vierte Projektionsfläche, ein fünfte Projektionsfläche und eine sechste Projektionsfläche aufweisen, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer anderen Seite der ersten Projektionsfläche und einer Seite der dritten Projektionsfläche gibt, wenn die andere Seite der ersten Projektionsfläche die eine Seite der dritten Projektionsfläche berührt, es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der vierten Projektionsfläche und einer Seite der fünften Projektionsfläche gibt, wenn die eine Seite der vierten Projektionsfläche die eine Seite der fünften Projektionsfläche berührt, und es eine Bildinhaltsdiskontinuitätskante zwischen einer anderen Seite der vierten Projektionsfläche und einer Seite der sechsten Projektionsfläche gibt, wenn die andere Seite der vierten Projektionsfläche die eine Seite der sechsten Projektionsfläche berührt; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, weiter einen zweiten Auffüllbereich, einen dritten Auffüllbereich und einen vierten Auffüllbereich aufweist, wobei der zweite Auffüllbereich die andere Seite der ersten Projektionsfläche und die eine Seite der dritten Projektionsfläche berührt, um die andere Seite der ersten Projektionsfläche von der einen Seite der dritten Projektionsfläche in der 360-VR-Projektionsanordnung zu isolieren, der dritte Auffüllbereich die eine Seite der vierten Projektionsfläche und die eine Seite der fünften Projektionsfläche berührt, um die eine Seite der vierten Projektionsfläche von der einen Seite der fünften Projektionsfläche in der 360-VR-Projektionsanordnung zu isolieren, und der vierte Auffüllbereich die andere Seite der vierten Projektionsfläche und die eine Seite der sechsten Projektionsfläche berührt, um die andere Seite der vierten Projektionsfläche von der einen Seite der sechsten Projektionsfläche in der 360-VR-Projektionsanordnung zu isolieren.
  9. Video-Verarbeitungsverfahren gemäß Anspruch 8, wobei eine Form der 360-VR-Projektionsanordnung ein Rechteck ist; die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, weiter eine siebte Projektionsfläche und eine achte Projektionsfläche aufweisen; die erste Projektionsfläche in einen ersten rechtwinklig-dreieckig geformten Teil und einen zweiten rechtwinklig-dreieckig geformten Teil geteilt ist, der erste rechtwinklig-dreieckig geformte Teil eine erste Seite, die die eine Seite der ersten Projektionsfläche ist, und eine zweite Seite, die ein erster Teil noch einer anderen Seite der ersten Projektionsfläche ist, aufweist, der zweite rechtwinklig-dreieckig geformte Teil eine erste Seite, die die andere Seite der ersten dreieckigen Fläche ist, und eine zweite Seite, die ein zweiter Teil der noch anderen Seite der ersten dreieckigen Projektionsfläche ist, aufweist; die vierte Projektionsfläche in einen dritten rechtwinklig-dreieckig geformten Teil und einen vierten rechtwinklig-dreieckig geformten Teil geteilt ist, der dritte rechtwinklig-dreieckig geformte Teil eine erste Seite, die die eine Seite der vierten Projektionsfläche ist, und eine zweite Seite, die ein erster Teil noch einer anderen Seite der vierten Projektionsfläche ist, aufweist, der vierte rechtwinklig-dreieckig geformte Teil eine erste Seite, die die andere Seite der vierten dreieckigen Fläche ist, und eine zweite Seite, die ein zweiter Teil der noch anderen Seite der vierten dreieckigen Projektionsfläche ist, aufweist; der erste Auffüllbereich die erste Seite des ersten rechtwinklig-dreieckig geformten Teils und die eine Seite der zweiten Projektionsfläche berührt; eine andere Seite der zweiten Projektionsfläche eine Seite der siebten Projektionsfläche berührt, wobei es eine Bildinhaltskontinuitätsgrenze zwischen der anderen Seite der zweiten Projektionsfläche und der einen Seite der siebten Projektionsfläche gibt; eine andere Seite der siebten Projektionsfläche eine andere Seite der dritten Projektionsfläche berührt, wobei es eine Bildinhaltskontinuitätsgrenze zwischen der anderen Seite der siebten Projektionsfläche und der anderen Seite der dritten Projektionsfläche gibt; der zweite Auffüllbereich die erste Seite des zweiten rechtwinklig-dreieckig geformten Teils und die eine Seite der dritten Projektionsfläche berührt; der dritte Auffüllbereich die erste Seite des dritten rechtwinklig-dreieckig geformten Teils und die eine Seite der fünften Projektionsfläche berührt; eine andere Seite der fünften Projektionsfläche eine Seite der achten Projektionsfläche berührt, wobei es eine Bildinhaltskontinuitätsgrenze zwischen der anderen Seite der fünften Projektionsfläche und der einen Seite der achten Projektionsfläche gibt; eine andere Seite der achten Projektionsfläche eine andere Seite der sechsten Projektionsfläche berührt, wobei es eine Bildinhaltskontinuitätsgrenze zwischen der anderen Seite der achten Projektionsfläche und der anderen Seite der sechsten Projektionsfläche gibt; und der vierte Auffüllbereich die erste Seite des vierten rechtwinklig-dreieckig geformten Teils und die eine Seite der sechsten Projektionsfläche berührt.
  10. Video-Verarbeitungsverfahren gemäß Anspruch 9, wobei der Äquator der Kugel auf die erste Projektionsfläche, die vierte Projektionsfläche, die siebte Projektionsfläche und die achte Projektionsfläche abgebildet wird.
  11. Video-Verarbeitungsverfahren, umfassend: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten mindestens einer Projektionsfläche von dem Rundum-Inhalt der Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird; und Erzeugen eines projektionsbasierten Rahmens durch eine Konvertierungsschaltung durch Generieren mindestens eines Auffüllbereichs und Packen der mindestens einen Projektionsfläche und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung, wobei die mindestens eine Projektionsfläche, die in der 360-VR-Projektionsanordnung gepackt ist, eine erste Projektionsfläche aufweist; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich die erste Projektionsfläche berührt und mindestens einen Teil eines Rands der 360-VR-Projektionsanordnung bildet.
  12. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden einer Geometrie-Auffüllung auf die erste Projektionsfläche, um Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind.
  13. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von spezifischen Pixeln, die in der ersten Projektionsfläche enthalten sind.
  14. Video-Verarbeitungsverfahren gemäß Anspruch 13, wobei der erste Auffüllbereich eine Seite der ersten Projektionsfläche berührt, und die spezifischen Pixel Randpixel an der einen Seite der ersten Projektionsfläche aufweisen.
  15. Video-Verarbeitungsverfahren gemäß Anspruch 14, wobei die 360-VR-Projektion eine von einer gleichwinkligen Projektion (ERP) und einer flächengleichen Projektion (EAP) ist, die erste Projektionsfläche einen Teilbereich aufweist, der Teilbereich die Randpixel an der einen Seite der ersten Projektionsfläche aufweist, der erste Auffüllbereich durch Duplizieren des Teilbereichs, um einen vervielfältigten Teilbereich zu erhalten, und Umdrehen des duplizierten Teilbereichs generiert wird, und es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der ersten Projektionsfläche gibt, die in der 360-VR-Projektionsanordnung gepackt sind.
  16. Video-Verarbeitungsverfahren gemäß Anspruch 14, wobei die 360-VR-Projektion eine gleichwinklige Projektion (ERP) oder eine flächengleiche Projektion (EAP) ist, die erste Projektionsfläche einen Teilbereich aufweist, der Teilbereich die Randpixel an der einen Seite der ersten Projektionsfläche aufweist, der erste Auffüllbereich durch Vervielfältigen des Teilbereichs, um einen vervielfältigten Teilbereich zu erhalten, und Rotieren des duplizierten Teilbereichs generiert wird, und es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der ersten Projektionsfläche gibt, die in der 360-VR-Projektionsanordnung gepackt sind.
  17. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei der erste Auffüllbereich eine Seite der ersten Projektionsfläche berührt, und die spezifischen Pixel keine Randpixel an der einen Seite der ersten Projektionsfläche aufweisen.
  18. Video-Verarbeitungsverfahren gemäß Anspruch 17, wobei die 360-VR-Projektion eine von einer gleichwinkligen Projektion (ERP) und einer flächengleichen Projektion (EAP) ist, der erste Auffüllbereich eine andere Seite der ersten Projektionsfläche nicht berührt, die eine Seite der ersten Projektionsfläche und die andere Seite der ersten Projektionsfläche einander gegenüberliegende Seiten der ersten Projektionsfläche sind, die erste Projektionsfläche einen Teilbereich aufweist, der Teilbereich Randpixel an der anderen Seite der ersten Projektionsfläche aufweist, der erste Auffüllbereich durch Vervielfältigen des Teilbereich generiert wird, und es eine Bildinhaltskontinuitätsgrenze zwischen dem ersten Auffüllbereich und der ersten Projektionsfläche gibt, die in der 360-VR-Projektionsanordnung gepackt sind.
  19. Video-Verarbeitungsverfahren gemäß Anspruch 11, weiter umfassend: Codieren des projektionsbasierten Rahmens mit der mindestens einen Projektionsfläche und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, um einen Teil eines Bitstroms zu generieren.
  20. Video-Verarbeitungsvorrichtung, aufweisend: eine Konvertierungsschaltung, die eingerichtet ist um: einen Rundum-Inhalt zu empfangen, der zu einer Kugel korrespondiert; eine Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel zu erhalten, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsflächen abgebildet wird; und einen projektionsbasierten Rahmen durch Generieren mindestens eines Auffüllbereichs und Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung zu erzeugen, wobei die Projektionsflächen, die in der 360-VR-Projektionsanordnung gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen, wobei es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche berührt, um die eine Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche in der 360-VR-Projektionsanordnung zu isolieren; und einen Video-Codierer, der eingerichtet ist, den projektionsbasierten Rahmen mit den Projektionsflächen und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, zu codieren, um einen Teil eines Bitstroms zu generieren.
  21. Video-Verarbeitungsvorrichtung, aufweisend: eine Konvertierungsschaltung, die eingerichtet ist um: einen Rundum-Inhalt zu empfangen, der zu einer Kugel korrespondiert; mindestens eine Projektionsfläche von dem Rundum-Inhalt der Kugel zu erhalten, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird; und einen projektionsbasierten Rahmen durch Generieren mindestens eines Auffüllbereichs und Packen der mindestens einen Projektionsfläche und des mindestens einen Auffüllbereichs in einer 360-VR-Projektionsanordnung zu erzeugen, wobei die mindestens eine Projektionsfläche, die in der 360-VR-Projektionsanordnung gepackt ist, eine erste Projektionsfläche aufweist; der mindestens eine Auffüllbereich, der in der 360-VR-Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich die erste Projektionsfläche berührt und mindestens eine Grenze der 360-VR-Projektionsanordnung bildet; und einen Video-Codierer, der eingerichtet ist, den projektionsbasierten Rahmen mit der mindestens einen Projektionsfläche und dem mindestens einen Auffüllbereich, die in der 360-VR-Projektionsanordnung gepackt sind, zu codieren, um einen Teil eines Bitstroms zu generieren.
DE112018000177.6T 2017-03-13 2018-03-13 Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind Active DE112018000177T8 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762470425P 2017-03-13 2017-03-13
US62/470,425 2017-03-13
US15/917,844 US11057643B2 (en) 2017-03-13 2018-03-12 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US15/917,844 2018-03-12
PCT/CN2018/078785 WO2018166430A1 (en) 2017-03-13 2018-03-13 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout

Publications (2)

Publication Number Publication Date
DE112018000177T5 true DE112018000177T5 (de) 2019-09-19
DE112018000177T8 DE112018000177T8 (de) 2020-02-20

Family

ID=63445237

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018000177.6T Active DE112018000177T8 (de) 2017-03-13 2018-03-13 Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind

Country Status (6)

Country Link
US (1) US11057643B2 (de)
CN (1) CN110383842B (de)
DE (1) DE112018000177T8 (de)
GB (1) GB2575175B (de)
TW (1) TWI673995B (de)
WO (1) WO2018166430A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691095B (zh) 2016-10-07 2021-10-15 联发科技股份有限公司 生成基于投影的帧的方法以及装置
EP3472756A4 (de) 2016-10-07 2020-03-04 MediaTek Inc. Videocodierungsverfahren und -vorrichtung mit syntaxelementsignalisierung des verwendeten projektionslayouts und zugehöriges videodecodierungsverfahren und -vorrichtung
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US20180288436A1 (en) * 2017-04-03 2018-10-04 Gopro, Inc. Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
CN110506291B (zh) 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
WO2019034131A1 (en) 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
US20190182462A1 (en) * 2017-12-08 2019-06-13 Gopro, Inc. Methods and apparatus for projection conversion decoding for applications eco-systems
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
EP3895425A4 (de) * 2018-12-14 2021-12-15 ZTE Corporation Verarbeitung eines immersiven videobitstroms
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
US20040169656A1 (en) 2002-11-15 2004-09-02 David Piponi Daniele Paolo Method for motion simulation of an articulated figure using animation input
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
WO2016140060A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN107409231B (zh) 2015-03-05 2021-05-11 索尼公司 图像处理装置和图像处理方法
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
EP3088018A1 (de) * 2015-04-30 2016-11-02 ECP Entwicklungsgesellschaft mbH Rotor für eine fluidpumpe sowie verfahren und giessform für seine herstellung
EP3304487A1 (de) 2015-05-27 2018-04-11 Google LLC Streaming von sphärischen videos
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US9858706B2 (en) 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10701396B2 (en) 2015-11-23 2020-06-30 Electronics And Telecommunications Research Institute Multi-viewpoint video encoding/decoding method
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10319071B2 (en) 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907B (zh) 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
KR102506480B1 (ko) 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN109417632B (zh) 2016-07-08 2023-08-04 Vid拓展公司 使用几何图形投影的360度视频编码
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106358033B (zh) 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
CN109691095B (zh) 2016-10-07 2021-10-15 联发科技股份有限公司 生成基于投影的帧的方法以及装置
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (de) 2016-12-09 2019-08-21 Nokia Technologies Oy Methode, vorrichtung und computerprogramm für videokodierung und dekodierung
CN106846245B (zh) 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10621767B2 (en) 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
US20190005709A1 (en) 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN107622474B (zh) 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
EP3724858A4 (de) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur verwaltung von immersiven daten

Also Published As

Publication number Publication date
GB2575175B (en) 2022-04-13
DE112018000177T8 (de) 2020-02-20
GB201908248D0 (en) 2019-07-24
TW201840180A (zh) 2018-11-01
CN110383842A (zh) 2019-10-25
GB2575175A (en) 2020-01-01
WO2018166430A1 (en) 2018-09-20
US11057643B2 (en) 2021-07-06
TWI673995B (zh) 2019-10-01
CN110383842B (zh) 2022-02-11
US20180262775A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
DE112018000177T5 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind
DE112019004696T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens
DE112018000660T5 (de) Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird
DE112018000176T5 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, repräsentiert in Projektionsflächen, die in einer segmentierten Kugelprojektionsanordnung gepackt sind
DE112017002851B4 (de) Verfahren und Vorrichtung einer Grenzauffüllung für eine VR-Videoverarbeitung
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
DE112018002436T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt ist
DE112017002339T5 (de) Verfahren und Vorrichtung zum Abbilden von Omnidirektionalbildern in ein Anordnungsausgabeformat
DE102014014944A1 (de) Füllen eines Zielbereichs unter Verwendung von Transformationen
DE112018002432T5 (de) Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
DE112019000203T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher Projektionsflächen aufweist, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung gepackt sind
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
DE112009001679T5 (de) Skalierbarkeitstechniken einer Farbskala
DE112020001290T5 (de) Videocodierungsverfahren mit Syntaxelementsignalisierung einer Guard-Band-Konfiguration eines projektionsbasierten Rahmens und dazugehörige Videodecodierungsverfahren und Vorrichtungen
DE102015009683A1 (de) Cloudbasierte inhaltsspezifische Füllung für Bilder
DE112017003100T5 (de) Verfahren und Vorrichtung einer flächenunabhängigen Codierungs-Struktur für VR-Video
DE102021117548A1 (de) Bildsensormodul, bildverarbeitungssystem, und bildkomprimierungsverfahren
WO2008135024A2 (de) Verfahren zum verarbeiten eines videodatensatzes
DE112019000287T5 (de) Sample-Adaptive-Offset-Filterungsverfahren für einen rekonstruierten projektionsbasierten Rahmen, welcher eine Projektionsanordnung einer 360-Grad-Virtual-Reality-Projektion einsetzt
DE112019000210T5 (de) Würfelbasiertes Projektionsverfahren, welches unterschiedliche Abbildungsfunktionen auf unterschiedliche quadratische Projektionsflächen, unterschiedliche Achsen und/oder unterschiedliche Lagen einer Achse anwendet
DE112017005123B4 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, der durch rechteckige Projektionsflächen repräsentiert wird, die in einer Viewport-basierten Würfelprojektionsanordnung gepackt sind
DE112018000128B4 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, der durch eine Basisprojektionsfläche und Seitenprojektionsflächen repräsentiert wird, die in einer Pyramidenprojektionsanordnung gepackt sind
DE102018002049B4 (de) 360-grad-video mit kombiniertem projektionsformat
DE112020001239T5 (de) Videocodierungsverfahren mit einer Syntaxelementsignalisierung einer Packung von Projektionsflächen, die von einer würfelbasierten Projektion hergeleitet werden, und dazugehörige Videodecodierungsverfahren und Vorrichtungen
DE112020001174T5 (de) Videocodierungsverfahren mit einer Syntaxelementsignalisierung einer Zuordnungsfunktion, eingesetzt von einer würfelbasierten Projektion, und zugehöriges Videodecodierungsverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HOEFER & PARTNER PATENTANWAELTE MBB, DE

R083 Amendment of/additions to inventor(s)
R016 Response to examination communication