DE112019000203T5

DE112019000203T5 - Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher Projektionsflächen aufweist, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung gepackt sind

Info

Publication number: DE112019000203T5
Application number: DE112019000203.1T
Authority: DE
Inventors: Ya-Hsuan Lee; Jian-Liang Lin
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2018-03-02
Filing date: 2019-03-01
Publication date: 2020-08-06
Also published as: CN111713103A; CN114615485A; CN114615485B; GB202007700D0; US11069026B2; WO2019166008A1; TW201945790A; GB2582475B; GB2582475A; TWI690728B; US20190272616A1

Abstract

Ein Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von quadratischen Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer würfelbasierten Projektion, Skalieren der quadratischen Projektionsflächen, um eine Mehrzahl von jeweils skalierten Projektionsflächen zu generieren, Erzeugen mindestens eines Auffüllbereichs, Generieren eines projektionsbasierten Rahmens durch ein Packen der skalierten Projektionsflächen und des mindestens einen Auffüllbereichs in einer Projektionsanordnung der würfelbasierten Projektion, und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht die Priorität der vorläufigen U.S.-Anmeldung Nr. 62/637,425 , eingereicht am 02.03.2018, und der vorläufigen U.S.-Anmeldung Nr. 62/712,290 , eingereicht am 31.07.2018. Der gesamte Inhalt der verwandten Anmeldungen, einschließlich der vorläufigen U.S.-Anmeldung Nr. 62/637,425 und der vorläufigen U.S.-Anmeldung Nr. 62/712,290 , ist hier durch Bezugnahme eingeschlossen.
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten eines Rundum-Bild-/Video-Inhalts, und genauer auf ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher Projektionsflächen aufweist, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung gepackt sind.
Hintergrund
Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) ist mit einer Vielfalt von Anwendungen verknüpft. Die Möglichkeit, einem Anwender einen weiten Gesichtsfeldinhalt zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bildinhalt führt, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren solch eines 360-Grad-Bildinhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Datenkomprimierung/-codierung entscheidend für eine Bitratenreduktion.
Allgemein wird der Rundum-Videoinhalt, der zu einer Kugel korrespondiert, in eine Sequenz von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bildinhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Sequenz der projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Der projektionsbasierte Rahmen kann eine Bildinhaltsdiskontinuität an Anordnungsgrenzen und/oder Flächenkanten aufweisen. Als eine Folge kann die Bildqualität um Anordnungsgrenzen und/oder Flächenkanten herum nach einer Komprimierung schlecht sein. Weiter können Artefakte durch eine Projektionsanordnungskonvertierung eines decodierten projektionsbasierten Rahmens eingeführt werden, was somit zu einer Bildqualitätsverschlechterung eines konvertierten projektionsbasierten Rahmens führt.
Zusammenfassung
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher Projektionsflächen aufweist, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung komprimiert sind, zur Verfügung zu stellen.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von quadratischen Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer würfelbasierten Projektion; Skalieren der quadratischen Projektionsflächen, um eine Mehrzahl von jeweils skalierten Projektionsflächen zu generieren; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; Generieren eines projektionsbasierten Rahmens durch ein Packen der skalierten Projektionsflächen und des mindestens einen Auffüllbereichs in einer Projektionsanordnung der würfelbasierten Projektion; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms und Decodieren des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen mit einer Mehrzahl von Projektionsflächen und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer würfelbasierten Projektion gepackt sind, zu generieren. Der Schritt des Decodierens des Teils des Bitstroms umfasst: Rekonstruieren eines ersten Pixels durch ein Mischen eines decodierten Pixelwerts, der für das erste Pixel erhalten wird, und eines decodierten Pixelwerts, der für ein zweites Pixel erhalten wird, um einen aktualisierten Pixelwert des ersten Pixels zu generieren. Der Mischschritt umfasst: Anwenden eines ersten Gewichtungsfaktors auf den decodierten Pixelwert, der für das erste Pixel erhalten wird, durch eine Mischschaltung, und Anwenden eines zweiten Gewichtungsfaktors auf den decodierten Pixelwert, der für das zweite Pixel erhalten wird, durch die Mischschaltung, wobei eins des ersten Pixels und des zweiten Pixels in einer der Projektionsflächen enthalten ist, ein anderes des ersten Pixels und des zweiten Pixels in dem mindestens einen Auffüllbereich enthalten ist, und Einstellungen des ersten Gewichtungsfaktors und des zweiten Gewichtungsfaktors unabhängig von einer Auffüllgröße des mindestens einen Auffüllbereichs sind.
Diese und andere Aufgaben der vorliegenden Erfindung werden ohne Zweifel für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach einem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist, offenbar.
Figurenliste

1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das eine würfelbasierte Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
3 ist ein Diagramm, das eine würfelbasierte Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist ein Diagramm, das eine erste würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
5 ist ein Diagramm, das eine u-Achse und eine v-Achse darstellt, die für jede quadratische Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung definiert sind.
6 ist ein Diagramm, das eine zweite würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
7 ist ein Diagramm, das eine dritte würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
8 ist ein Diagramm, das einen Prozess eines Findens eines korrespondierenden Auffüllpixels für ein Flächenpixel gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
9 ist ein Ablaufdiagramm, das ein Mischverfahren zum Generieren eines aktualisierten Pixelwerts eines Flächenpixels gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
10 ist ein Diagramm, das einen Prozess eines Findens eines korrespondierenden Flächenpixels für ein Auffüllpixel gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
11 ist ein Ablaufdiagramm, das ein Mischverfahren zum Generieren eines aktualisierten Pixelwerts eines Auffüllpixels gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
12 ist ein Diagramm, das eine erste decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
13 ist ein Diagramm, das eine zweite decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
14 ist ein Diagramm, das eine dritte decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
15 ist ein Diagramm, das ein Beispiel eines Prüfens einer Lage eines korrespondierenden Pixels, um selektiv eine decodiererseitige Mischberechnung zum Aktualisieren eines Pixelwerts eines Zielpixels zu aktivieren, darstellt.

Detaillierte Beschreibung
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden innerhalb der nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Elektronikausrüstungshersteller mit unterschiedlichen Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, welche sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet, und sollten somit so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf...“ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Videoverarbeitungsvorrichtungen (z.B. eine Quellenelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellenelektronikvorrichtung 102 weist eine Videoaufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Videocodierer 116 auf. Zum Beispiel kann die Videoaufnahmevorrichtung 112 ein Satz von Kameras sein, die verwendet werden, um einen Rundum-Bildinhalt (z.B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Videoaufnahmevorrichtung 112 und dem Videocodierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung L_VR gemäß dem Rundum-Bildinhalt S_IN. Zum Beispiel kann der projektionsbasierte Rahmen IMG ein Rahmen sein, der in einer Sequenz von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert wird. Der Videocodierer 116 ist eine Codierungsschaltung, die verwendet wird, um den projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Videocodierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Sequenz von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
Die Zielelektronikvorrichtung 104 kann eine am Kopf befestigte Anzeige- (HMD-) Vorrichtung sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 einen Videodecodierer 122, eine Graphikwiedergabeschaltung 124 und eine Anzeigevorrichtung 126 auf. Der Videodecodierer 122 ist eine Decodierungsschaltung, die verwendet wird, um den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) zu empfangen und einen Teil des empfangenen Bitstroms BS zu decodieren, um einen decodierten Rahmen IMG' zu generieren. Zum Beispiel generiert der Videodecodierer 122 eine Sequenz von decodierten Rahmen durch ein Decodieren des empfangenen Bitstroms BS, wobei der decodierte Rahmen IMG' ein Rahmen ist, der in der Sequenz von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der projektionsbasierte Rahmen IMG, der durch den Videocodierer 116 auf der Codiererseite zu codieren ist, eine 360-VR-Projektionsanordnung L_VR auf. Daher ist, nachdem ein Teil des Bitstroms BS durch den Videodecodierer 122 auf der Decodiererseite decodiert worden ist, der decodierte Rahmen IMG' ein decodierter projektionsbasierter Rahmen, der die gleiche 360-VR-Projektionsanordnung L_VR aufweist. Die Graphikwiedergabeschaltung 124 ist zwischen dem Videodecodierer 122 und der Anzeigevorrichtung 126 verbunden. Die Graphikwiedergabeschaltung 124 gibt Ausgabebilddaten gemäß dem decodierten Rahmen IMG' wieder und stellt sie auf der Anzeigevorrichtung 126 dar. Zum Beispiel kann ein Viewport-Bereich, der mit einem Teil des 360-Grad-Bildinhalts verknüpft ist, der durch den decodierten Rahmen IMG' übertragen wird, über die Graphikwiedergabeschaltung 124 auf der Anzeigevorrichtung 126 dargestellt werden.
Wie vorstehend erwähnt, generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR und dem Rundum-Bildinhalt S_IN. In einem Fall, in welchem die 360-VR-Projektionsanordnung L_VR eine würfelbasierte Projektionsanordnung ist, werden sechs quadratische Projektionsflächen von unterschiedlichen Flächen eines Würfels durch eine würfelbasierte Projektion des Rundum-Bildinhalts S_IN auf einer Kugel abgeleitet. 2 ist ein Diagramm, das eine würfelbasierte Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der 360-Grad-Bildinhalt auf einer Kugel 200 wird auf sechs Flächen eines Würfels 201 projiziert, die eine obere Fläche, eine untere Fläche, eine linke Fläche, eine vordere Fläche, eine rechte Fläche und eine hintere Fläche umfassen. Insbesondere wird ein Bildinhalt eines nördlichen Polarbereichs der Kugel 200 auf die obere Fläche des Würfels 201 projiziert, ein Bildinhalt eines südlichen Polarbereichs der Kugel 200 wird auf die untere Fläche des Würfels 201 projiziert, und ein Bildinhalt eines Äquatorialbereichs der Kugel 200 wird auf die linke Fläche, die vordere Fläche, die rechte Fläche und die hintere Fläche des Würfels 201 projiziert.
Quadratische Projektionsflächen, die in einer Projektionsanordnung der würfelbasierten Projektion zu packen sind, werden von sechs Flächen des Würfels 201 abgeleitet. Zum Beispiel wird eine quadratische Projektionsfläche (gekennzeichnet durch „Oben“) auf einer zweidimensionalen (2D-) Ebene von der oberen Fläche des Würfels 201 in einem dreidimensionalen (3D-) Raum abgeleitet, wird eine quadratische Projektionsfläche (gekennzeichnet durch „Hinten“) auf der 2D-Ebene von der hinteren Fläche des Würfels 201 in dem 3D-Raum abgeleitet, wird eine quadratische Projektionsfläche (gekennzeichnet durch „Unten“) auf der 2D-Ebene von der unteren Fläche des Würfels 201 in dem 3D-Raum abgeleitet, wird eine quadratische Projektionsfläche (gekennzeichnet durch „Rechts“) auf der 2D-Ebene von der rechten Fläche des Würfels 201 in dem 3D-Raum abgeleitet, wird eine quadratische Projektionsfläche (gekennzeichnet durch „Vorne“) auf der 2D-Ebene von der vorderen Fläche des Würfels 201 in dem 3D-Raum abgeleitet, und wird eine quadratische Projektionsfläche (gekennzeichnet durch „Links“) auf der 2D-Ebene von der linken Fläche des Würfels 201 in dem 3D-Raum abgeleitet. Jede der quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ weist die gleiche Flächenbreite fw und die gleiche Flächenhöhe fh auf, wobei fw=fh. Daher weisen die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ die gleiche Größe fw*fh auf.
Wenn die 360-VR-Projektionsanordnung L_VR durch eine Würfelzuordnungsprojektions-(CMP-) Anordnung 202 festgelegt ist, die in 2 gezeigt ist, sind die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Hinten“ in der CMP-Anordnung 202 korrespondierend zu einem entfalteten Würfel gepackt. Der zu codierende projektionsbasierte Rahmen IMG muss jedoch rechteckig sein.
Wenn die CMP-Anordnung 202 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, muss der projektionsbasierte Rahmen IMG mit Leerbereichen (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) aufgefüllt werden, um einen rechteckigen Rahmen zum Codieren zu bilden. Alternativ kann der projektionsbasierte Rahmen IMG projizierte Bilddaten aufweisen, die in einer kompakten Projektionsanordnung angeordnet sind, um eine Verwendung von Leerbereichen (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) zu vermeiden. Wie in 2 gezeigt, sind die quadratischen Projektionsflächen „Oben“, „Hinten“ und „Unten“ rotiert und dann in der kompakten CMP-Anordnung 204 gepackt. Die Orientierung der Kennzeichnungen „Rechts“, „Vorne“, „Links“, „Oben“, „Hinten“ und „Unten“ zeigt die Orientierung der projizierten Bildinhalte an. Daher sind die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Hinten“ in der kompakten CMP-Anordnung 204 angeordnet, welche eine 3x2-Würfelanordnung ist. Auf diese Weise kann die Codierungseffizienz verbessert werden.
Die kompakte CMP-Anordnung 204 ist eine kompakte würfelbasierte Projektionsanordnung ohne Auffüllung. Daher ist es möglich, dass ein Packen von quadratischen Projektionsflächen zu Bildinhaltsdiskontinuitätskanten zwischen benachbarten quadratischen Projektionsflächen führen kann. Hinsichtlich einer 3x1 Flächenzeile, die aus quadratischen Projektionsflächen „Rechts“, „Vorne“ und „Links“ besteht, die horizontal in der kompakten CMP-Anordnung 204 gepackt sind, gibt es eine Bildinhaltskontinuitätskante zwischen der rechten Seite der quadratischen Projektionsfläche „Rechts“ und der linken Seite der quadratischen Projektionsfläche „Vorne“, und gibt es eine Bildinhaltskontinuitätskante zwischen der rechten Seite der quadratischen Projektionsfläche „Vorne“ und der linken Seite der quadratischen Projektionsfläche „Links“. Hinsichtlich der anderen 3x1 Flächenzeile, die aus quadratischen Projektionsflächen „Unten“, „Hinten“ und „Oben“ besteht, die horizontal in der kompakten CMP-Anordnung 204 gepackt sind, gibt es eine Bildinhaltskontinuitätskante zwischen der rechten Seite der quadratischen Projektionsfläche „Unten“ und der linken Seite der quadratischen Projektionsfläche „Hinten“, und gibt es eine Bildinhaltskontinuitätskante zwischen der rechten Seite der quadratischen Projektionsfläche „Hinten“ und der linken Seite der quadratischen Projektionsfläche „Oben“.
Weiter weist die kompakte CMP-Anordnung 204 eine obere diskontinuierliche Grenze (welche aus oberen Seiten von quadratischen Projektionsflächen „Rechts“, „Vorne“ und „Links“ besteht), eine untere diskontinuierliche Grenze (welche aus unteren Seiten von quadratischen Projektionsflächen „Unten“, Hinten“ und „Oben“ besteht), eine linke diskontinuierliche Grenze (welche aus linken Seiten von quadratischen Projektionsflächen „Rechts“ und „Unten“ besteht) und eine rechte diskontinuierliche Grenze (welche aus rechten Seiten von quadratischen Projektionsflächen „Links“ und „Oben“ besteht) auf.
Wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung 204 festgelegt ist, kann die Bildqualität nahe den Bildinhaltsdiskontinuitätskanten und/oder den diskontinuierlichen Anordnungsgrenzen nach einer Komprimierung schlecht sein. Genauer kann der projektionsbasierte Rahmen IMG nach einem Codieren Artefakte aufgrund von diskontinuierlichen Anordnungsgrenzen der kompakten CMP-Anordnung 204 und/oder diskontinuierlichen Kanten der kompakten CMP-Anordnung 204 aufweisen.
Um diskontinuierliche Anordnungsgrenzen und/oder diskontinuierliche Flächenkanten herum kann eine Pixelauffüllung zum Reduzieren der Artefakte eingefügt werden. 3 ist ein Diagramm, das eine würfelbasierte Projektionsanordnung mit einer Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die kompakte CMP-Anordnung mit einer Auffüllung 300 ist in der Lage, die Bildqualität an diskontinuierlichen Anordnungsgrenzen und diskontinuierlichen Flächenkanten nach einer Komprimierung zu verbessern. Zum Beispiel empfängt die Konvertierungsschaltung 114 einen Rundum-Bildinhalt der Kugel 200 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ von der würfelbasierten Projektion des Rundum-Bildinhalts der Kugel 200. Wie in 1 gezeigt, weist die Konvertierungsschaltung 114 eine Auffüllschaltung 118 auf, welche ausgelegt ist, mindestens einen Auffüllbereich zu generieren. Wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung mit einer Auffüllung 300 festgelegt ist, ist die Auffüllschaltung 118 aktiviert. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen von quadratischen Projektionsflächen und Auffüllbereichen in der kompakten CMP-Anordnung mit einer Auffüllung 300. Die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ sind in eine erste Gruppe und eine zweite Gruppe kategorisiert. Die erste Gruppe umfasst die quadratischen Projektionsflächen „Rechts“, „Vorne“ und „Links“ und repräsentiert ein erstes rechteckiges Segment, dessen Inhalt kontinuierlich ist. Die zweite Gruppe umfasst die quadratischen Projektionsflächen „Oben“, „Hinten“ und „Unten“ und repräsentiert ein zweites rechteckiges Segment, dessen Inhalt kontinuierlich ist.
Die Auffüllschaltung 118 ist eine Elektronikschaltung. In einer beispielhaften Auslegung kann die Auffüllschaltung 118 durch eine dedizierte Hardware zum Behandeln der Auffüllfunktion implementiert sein. In einer anderen beispielhaften Auslegung kann die Auffüllschaltung 118 durch einen Prozessor implementiert sein, welcher einen Programm-Code zum Behandeln der Auffüllfunktion ausführt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein.
Gemäß der kompakten CMP-Anordnung mit einer Auffüllung 300 erzeugt die Auffüllschaltung 118 einen oberen Auffüllbereich PR11 (welcher einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Rechts“ erstreckt, einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Vorne“ erstreckt, und einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Links“ erstreckt, aufweist), einen linken Auffüllbereich PR12 (welcher einen Auffüllbereich aufweist, der sich von der linken Seite der quadratischen Projektionsfläche „Rechts“ erstreckt), einen unteren Auffüllbereich PR13 (welcher einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Rechts“ erstreckt, einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Vorne“ erstreckt, und einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Links“ erstreckt, aufweist), und einen rechten Auffüllbereich PR14 (welcher einen Auffüllbereich aufweist, der sich von der rechten Seite der quadratischen Projektionsfläche „Links“ erstreckt) für das erste rechteckige Segment, und erzeugt einen oberen Auffüllbereich PR21 (welcher einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Unten“ erstreckt, einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Hinten“ erstreckt, und einen Auffüllbereich, der sich von der oberen Seite der quadratischen Projektionsfläche „Oben“ erstreckt, aufweist), einen linken Auffüllbereich PR22 (welcher einen Auffüllbereich aufweist, der sich von der linken Seite der quadratischen Projektionsfläche „Unten“ erstreckt), einen unteren Auffüllbereich PR23 (welcher einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Unten“ erstreckt, einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Hinten“ erstreckt, und einen Auffüllbereich, der sich von der unteren Seite der quadratischen Projektionsfläche „Oben“ erstreckt, aufweist), und einen rechten Auffüllbereich PR24 (welcher einen Auffüllbereich aufweist, der sich von der rechten Seite der quadratischen Projektionsfläche „Oben“ erstreckt) für das zweite rechteckige Segment, wobei jeder Auffüllbereich die gleiche Auffüllgröße p (z.B. p=4) aufweist.
In einer beispielhaften Auffüllimplementierung wendet die Auffüllschaltung 118 eine Geometrieauffüllung auf eine quadratische Projektionsfläche an, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, welcher mindestens die quadratische Projektionsfläche berührt. Die kompakte CMP-Anordnung mit einer Auffüllung 300 als Beispiel nehmend weist der obere Auffüllbereich PR11 einen linken Geometrieabbildungsbereich, einen mittleren Geometrieabbildungsbereich und einen rechten Geometrieabbildungsbereich auf. Der linke Geometrieabbildungsbereich des oberen Auffüllbereichs PR11 wird von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den linken Geometrieabbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „Rechts“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der quadratischen Projektionsfläche „Rechts“ und dem linken Geometrieabbildungsbereich, der sich von der quadratischen Projektionsfläche „Rechts“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der quadratischen Projektionsfläche „Rechts“ und dem linken Geometrieabbildungsbereich repräsentiert). Ähnlich wird der mittlere Geometrieabbildungsbereich des oberen Auffüllbereichs PR11 von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den mittleren Geometrieabbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „Vorne“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der quadratischen Projektionsfläche „Vorne“ und dem mittleren Geometrieabbildungsbereich, der sich von der quadratischen Projektionsfläche „Vorne“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der quadratischen Projektionsfläche „Vorne“ und dem mittleren Geometrieabbildungsbereich repräsentiert). Außerdem wird der rechte Geometrieabbildungsbereich des oberen Auffüllbereichs PR11 von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den rechten Geometrieabbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die quadratische Projektionsfläche „Links“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der quadratischen Projektionsfläche „Links“ und dem rechten Geometrieabbildungsbereich, der sich von der quadratischen Projektionsfläche „Links“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der quadratischen Projektionsfläche „Links“ und dem rechten Geometrieabbildungsbereich repräsentiert).
In einer anderen beispielhaften Auffüllimplementierung legt die Auffüllschaltung 118 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten spezifischer Pixel fest, die in einer quadratischen Projektionsfläche enthalten sind, welche den Auffüllbereich berührt. Die kompakte CMP-Anordnung mit einer Auffüllung 300 als Beispiel nehmend weist der obere Auffüllbereich PR11 einen linken Duplizierungsbereich, einen mittleren Duplizierungsbereich und einen rechten Duplizierungsbereich auf. Hinsichtlich einer Generierung des linken Duplizierungsbereichs des oberen Auffüllbereichs PR11 werden Kantenpixel an der oberen Seite der quadratischen Projektionsfläche „Rechts“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der quadratischen Projektionsfläche „Rechts“ erstrecken. Hinsichtlich einer Generierung des mittleren Duplizierungsbereichs des oberen Auffüllbereichs PR11 werden Kantenpixel an der oberen Seite der quadratischen Projektionsfläche „Vorne“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der quadratischen Projektionsfläche „Vorne“ erstrecken. Hinsichtlich einer Generierung des rechten Duplizierungsbereichs des oberen Auffüllbereichs PR11 werden Kantenpixel an der oberen Seite der quadratischen Projektionsfläche „Links“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der quadratischen Projektionsfläche „Links“ erstrecken.
In noch einer anderen beispielhaften Auffüllimplementierung legt die Auffüllschaltung 118 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, der sich von einer Seite einer ersten skalierten Projektionsfläche erstreckt, durch ein Duplizieren von Pixelwerten spezifischer Pixel fest, die in einer zweiten quadratischen Projektionsfläche enthalten sind. Zum Beispiel wird die erste quadratische Projektionsfläche von einem Bildinhalt eines ersten Bereichs auf einer Kugel erhalten, und die zweite quadratische Projektionsfläche wird von einem Bildinhalt eines zweiten Bereichs auf der Kugel erhalten, wobei der zweite Bereich an den ersten Bereich angrenzt. Ein Auffüllbereich, der sich von einer Seite der ersten quadratischen Projektionsfläche erstreckt, kann von einem Duplizieren eines Teilbereichs der zweiten quadratischen Projektionsfläche erhalten werden. Die kompakte CMP-Anordnung mit einer Auffüllung 300 als Beispiel nehmend weist der obere Auffüllbereich PR11 einen linken Duplizierungsbereich, einen mittleren Duplizierungsbereich und einen rechten Duplizierungsbereich auf. Der linke Duplizierungsbereich des oberen Auffüllbereichs PR11 wird durch ein Duplizieren eines ersten Teilbereichs der quadratischen Projektionsfläche „Oben“ festgelegt. Der mittlere Duplizierungsbereich des oberen Auffüllbereichs PR11 wird durch ein Duplizieren eines zweiten Teilbereichs der quadratischen Projektionsfläche „Oben“ festgelegt. Der rechte Duplizierungsbereich des oberen Auffüllbereichs PR11 wird durch ein Duplizieren eines dritten Teilbereichs der quadratischen Projektionsfläche „Oben“ festgelegt.
Wenn der projektionsbasierte Rahmen IMG die in 2 gezeigte kompakte CMP-Anordnung 204 aufweist, weist der projektionsbasierte Rahmen IMG eine Rahmenbreite W=3*fw und eine Rahmenhöhe H=2*fh auf. Wenn jedoch der projektionsbasierte Rahmen IMG die in 3 gezeigte kompakte CMP-Anordnung mit einer Auffüllung 300 aufweist, weist der projektionsbasierte Rahmen IMG eine Rahmenbreite W'=3*fw+2*p und eine Rahmenhöhe H'=3*fh+4*p auf, wobei W'>W und H'>H. Da die Größe des projektionsbasierten Rahmens IMG aufgrund der Einfügung von Auffüllbereichen PR11-PR14 und PR21-PR24 erhöht ist, sind zwangsläufig der Codierungsaufwand des Videocodierers 116 und der Decodierungsaufwand des Videodecodierers 122 erhöht.
Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung eine würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung vor. 4 ist ein Diagramm, das eine erste würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie die kompakte CMP-Anordnung mit einer Auffüllung 300 ist auch die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 in der Lage, die Bildqualität an diskontinuierlichen Anordnungsgrenzen und diskontinuierlichen Flächenkanten nach einer Komprimierung zu verbessern. Verglichen mit der kompakten CMP-Anordnung mit einer Auffüllung 300 weist die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 eine geringere Größe auf. Zum Beispiel ist die Größe der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 die gleiche wie diejenige einer kompakten CMP-Anordnung ohne Auffüllung (z.B. die in 2 gezeigte kompakte CMP-Anordnung 204).
Wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 festgelegt ist, sind sowohl eine Skalierungsschaltung 117 als auch eine Auffüllschaltung 118, die in der Konvertierungsschaltung 114 implementiert sind, aktiviert. Zum Beispiel empfängt die Konvertierungsschaltung 114 einen Rundum-Bildinhalt der Kugel 200 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ von der würfelbasierten Projektion des Rundum-Bildinhalts der Kugel 200, wobei die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ die gleiche Flächenbreite fw und die gleiche Flächenhöhe fh aufweisen. Die Skalierungsschaltung 117 ist ausgelegt, die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ zu skalieren, um eine Mehrzahl von jeweils skalierten Projektionsflächen (gekennzeichnet durch „T“, „BK“, „B“, „R“, „F“ und „L“) zu generieren. Die Orientierung der Kennzeichnungen „T“, „BK“, „B“, „R“, „F“ und „L“ zeigt die Orientierung der projizierten Bildinhalte an. Zusätzlich ist die Auffüllschaltung 118 ausgelegt, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen der skalierten Projektionsflächen und der Auffüllbereiche in der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400.
Die Skalierungsschaltung 117 ist eine Elektronikschaltung. In einer beispielhaften Auslegung kann die Skalierungsschaltung 117 durch eine dedizierte Hardware zum Behandeln der Skalierungsfunktion implementiert sein. In einer anderen beispielhaften Auslegung kann die Skalierungsschaltung 117 durch einen Prozessor implementiert sein, welcher einen Programm-Code zum Behandeln der Skalierungsfunktion ausführt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein.
Die skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ sind in eine erste Gruppe und eine zweite Gruppe kategorisiert. Die erste Gruppe umfasst die skalierten Projektionsflächen „R“, „F“ und „L“ und repräsentiert ein erstes rechteckiges Segment, dessen Inhalt kontinuierlich ist. Die zweite Gruppe umfasst die skalierten Projektionsflächen „T“, „BK“ und „B“ und repräsentiert ein zweites rechteckiges Segment, dessen Inhalt kontinuierlich ist. Gemäß der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 erzeugt die Auffüllschaltung 118 einen oberen Auffüllbereich PR31 (welcher einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „R“ erstreckt, einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „F“ erstreckt, und einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „L“ erstreckt, aufweist), einen linken Auffüllbereich PR32 (welcher einen Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „R“ erstreckt, aufweist), einen unteren Auffüllbereich PR33 (welcher einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „R“ erstreckt, einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „F“ erstreckt, und einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „L“ erstreckt, aufweist), und einen rechten Auffüllbereich PR34 (welcher einen Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „L“ erstreckt, aufweist) für das erste rechteckige Segment, und erzeugt einen oberen Auffüllbereich PR41 (welcher einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „B“ erstreckt, einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „BK“ erstreckt, und einen Auffüllbereich, der sich von der oberen Seite der skalierten Projektionsfläche „T“ erstreckt, aufweist), einen linken Auffüllbereich PR42 (welcher einen Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „B“ erstreckt, aufweist), einen unteren Auffüllbereich PR43 (welcher einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „B“ erstreckt, einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „BK“ erstreckt, und einen Auffüllbereich, der sich von der unteren Seite der skalierten Projektionsfläche „T“ erstreckt, aufweist) und einen rechten Auffüllbereich PR44 (welcher einen Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „T“ erstreckt, aufweist) für das zweite rechteckige Segment, wobei jeder Auffüllbereich die gleiche Auffüllgröße p aufweist (z.B. p=4).
Wie in 4 gezeigt, bildet der obere Auffüllbereich PR31 mindestens einen Teil einer oberen Grenze der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400, bildet der linke Auffüllbereich PR32/PR42 mindestens einen Teil einer linken Grenze der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400, bildet der untere Auffüllbereich PR43 mindestens einen Teil einer unteren Grenze der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400, und bildet der rechte Auffüllbereich PR32/PR44 mindestens einen Teil einer rechten Grenze der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400.
Wenn die untere Seite der skalierten Projektionsfläche „R“ die obere Seite der skalierten Projektionsfläche „B“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „R“ und der oberen Seite der skalierten Projektionsfläche „B“. Wenn die untere Seite der skalierten Projektionsfläche „F“ die obere Seite der skalierten Projektionsfläche „BK“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „F“ und der oberen Seite der skalierten Projektionsfläche „BK“. Wenn die untere Seite der skalierten Projektionsfläche „L“ die obere Seite der skalierten Projektionsfläche „T“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „L“ und der oberen Seite der skalierten Projektionsfläche „T“. Der untere Auffüllbereich PR33 und der obere Auffüllbereich PR41 bilden einen horizontalen Auffüllbereich in der Mitte der Projektionsanordnung, wobei der horizontale Auffüllbereich zum Isolieren der unteren Seite der skalierten Projektionsfläche „R“ von der oberen Seite der skalierten Projektionsfläche „B“ die untere Seite der skalierten Projektionsfläche „R“ und die obere Seite der skalierten Projektionsfläche „B“ verbindet, zum Isolieren der unteren Seite der skalierten Projektionsfläche „F“ von der oberen Seite der skalierten Projektionsfläche „BK“ die untere Seite der skalierten Projektionsfläche „F“ und die obere Seite der skalierten Projektionsfläche „BK“ verbindet, und zum Isolieren der unteren Seite der skalierten Projektionsfläche „L“ von der oberen Seite der skalierten Projektionsfläche „T“ die untere Seite der skalierten Projektionsfläche „L“ und die obere Seite der skalierten Projektionsfläche „T“ verbindet.
In dieser Ausführungsform weisen alle der skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ nicht die gleiche Größe auf. Insbesondere ist eine Skalierungsoperation einer quadratischen Projektionsfläche auf der Basis einer Auffüllbereichsverteilung ausgelegt, die mit einer skalierten Projektionsfläche verknüpft ist, die von der quadratischen Projektionsfläche erhalten wird. Es sei auf 4 in Verbindung mit 5 verwiesen. 5 ist ein Diagramm, das eine u-Achse und eine v-Achse darstellt, die für jede quadratische Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung definiert sind.
Die skalierte Projektionsfläche „F“ wird von einem Anwenden eines Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Vorne“ und einem Anwenden eines Skalierungsfaktors s₂ auf die v-Achse der quadratischen Projektionsfläche „Vorne“ erhalten, wobei
$s_{2} = \frac{f h - 2 \cdot p}{f h} = \frac{f w - 2 \cdot p}{f w} .$
Die skalierte Projektionsfläche „BK“ wird von einem Anwenden des Skalierungsfaktors s₂ auf die u-Achse der quadratischen Projektionsfläche „Hinten“ und einem Anwenden des Skalierungsfaktors 1 auf die v-Achse der quadratischen Projektionsfläche „Hinten“ erhalten. Die skalierte Projektionsfläche „R“ wird von einem Anwenden des Skalierungsfaktors s₁ auf die u-Achse der quadratischen Projektionsfläche „Rechts“ und einem Anwenden des Skalierungsfaktors s₂ auf die v-Achse der quadratischen Projektionsfläche „Rechts“ erhalten, wobei
$s_{1} = \frac{f w - p}{f w} = \frac{f h - p}{f h} .$
Die skalierte Projektionsfläche „L“ wird von einem Anwenden des Skalierungsfaktors s₁ auf die u-Achse der quadratischen Projektionsfläche „Links“ und einem Anwenden des Skalierungsfaktors s₂ auf die v-Achse der quadratischen Projektionsfläche „Links“ erhalten. Die skalierte Projektionsfläche „T“ wird von einem Anwenden des Skalierungsfaktors s₁ auf die u-Achse der quadratischen Projektionsfläche „Oben“ und einem Anwenden des Skalierungsfaktors s₂ auf die v-Achse der quadratischen Projektionsfläche „Oben“ erhalten. Die skalierte Projektionsfläche „B“ wird von einem Anwenden des Skalierungsfaktors s₁ auf die u-Achse der quadratischen Projektionsfläche „Unten“ und einem Anwenden des Skalierungsfaktors s₂ auf die v-Achse der quadratischen Projektionsfläche „Unten“ erhalten. Die Festlegungen der Skalierungsfaktoren für unterschiedliche quadratische Projektionsflächen sind in der nachfolgenden Tabelle aufgelistet.

Fläche Achse Skalierungsfaktor

Vorne u 1

v s₂

Hinten u s₂

v l

Rechts u s₁

Links

Oben v s₂

Unten
Wie in 4 gezeigt, weist jede der skalierten Projektionsflächen „F“ und „BK“ eine Größe von fw*(fh-2*p) auf, und jede der skalierten Projektionsflächen „R“, „L“, „B“ und „T“ weist eine Größe von (fw-p)*(fh-2*p) auf. Wenn der projektionsbasierte Rahmen IMG die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 aufweist, weist der projektionsbasierte Rahmen IMG eine Rahmenbreite W=3*fw und eine Rahmenhöhe H=2*fh auf. Daher bleibt eine Größe eines projektionsbasierten Rahmens, der die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 verwendet, die gleiche wie diejenige eines projektionsbasierten Rahmens, der eine kompakte CMP-Anordnung ohne Auffüllung verwendet (z.B. die kompakte CMP-Anordnung 204).
Wie in 4 gezeigt, wird ein Auffüllen um zwei 3x1 Flächenzeilen angewendet. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. In einer alternativen Auslegung kann ein Auffüllen nur auf eine Mitte eines Rahmens angewendet werden, um zwei diskontinuierliche 3x1 Flächenzeilen zu trennen. 6 ist ein Diagramm, das eine zweite würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 ist in der Lage, die Bildqualität an diskontinuierlichen Flächenkanten nach einer Komprimierung zu verbessern. Verglichen mit der kompakten CMP-Anordnung mit einer Auffüllung 300 weist die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 eine geringere Größe auf. Zum Beispiel ist die Größe der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 die gleiche wie diejenige einer kompakten CMP-Anordnung ohne Auffüllung (z.B. die in 2 gezeigte kompakte CMP-Anordnung 204).
Wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 festgelegt ist, sind sowohl die Skalierungsschaltung 117 als auch die Auffüllschaltung 118, die in der Konvertierungsschaltung 114 implementiert sind, aktiviert. Zum Beispiel empfängt die Konvertierungsschaltung 114 einen Rundum-Bildinhalt der Kugel 200 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ von der würfelbasierten Projektion des Rundum-Bildinhalts der Kugel 200, wobei die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ die gleiche Flächenbreite fw und die gleiche Flächenhöhe fh aufweisen. Die Skalierungsschaltung 117 ist ausgelegt, die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ zu skalieren, um eine Mehrzahl von jeweils skalierten Projektionsflächen (gekennzeichnet durch „T“, „BK“, „B“, „R“, „F“ und „L“) zu generieren. Die Orientierung der Kennzeichnungen „T“, „BK“, „B“, „R“, „F“ und „L“ zeigt die Orientierung der projizierten Bildinhalte an. Zusätzlich ist die Auffüllschaltung 118 ausgelegt, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen der skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ und mindestens eines Auffüllbereichs in der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600.
Die skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ werden in eine erste Gruppe und eine zweite Gruppe kategorisiert. Die erste Gruppe umfasst die skalierten Projektionsflächen „R“, „F“ und „L“ und repräsentiert ein erstes rechteckiges Segment, dessen Inhalt kontinuierlich ist. Die zweite Gruppe umfasst die quadratischen Projektionsflächen „T“, „BK“ und „B“ und repräsentiert ein zweites rechteckiges Segment, dessen Inhalt kontinuierlich ist. Gemäß der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 erzeugt die Auffüllschaltung 118 einen unteren Auffüllbereich PR51 für das erste rechteckige Segment und erzeugt einen oberen Auffüllbereich PR61 für das zweite rechteckige Segment, wobei jeder Auffüllbereich die gleiche Auffüllgröße aufweist (z.B. p=4).
Wenn die untere Seite der skalierten Projektionsfläche „R“ die obere Seite der skalierten Projektionsfläche „B“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „R“ und der oberen Seite der skalierten Projektionsfläche „B“. Wenn die untere Seite der skalierten Projektionsfläche „F“ die obere Seite der skalierten Projektionsfläche „BK“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „F“ und der oberen Seite der skalierten Projektionsfläche „BK“. Wenn die untere Seite der skalierten Projektionsfläche „L“ die obere Seite der skalierten Projektionsfläche „T“ berührt, existiert eine Bildinhaltsdiskontinuitätskante zwischen der unteren Seite der skalierten Projektionsfläche „L“ und der oberen Seite der skalierten Projektionsfläche „T“. Der untere Auffüllbereich PR51 und der obere Auffüllbereich PR61 bilden einen horizontalen Auffüllbereich in der Mitte der Projektionsanordnung, wobei der horizontale Auffüllbereich zum Isolieren der unteren Seite der skalierten Projektionsfläche „R“ von der oberen Seite der skalierten Projektionsfläche „B“ die untere Seite der skalierten Projektionsfläche „R“ und die obere Seite der skalierten Projektionsfläche „B“ verbindet, zum Isolieren der unteren Seite der skalierten Projektionsfläche „F“ von der oberen Seite der skalierten Projektionsfläche „BK“ die untere Seite der skalierten Projektionsfläche „F“ und die obere Seite der skalierten Projektionsfläche „BK“ verbindet, und zum Isolieren der unteren Seite der skalierten Projektionsfläche „L“ von der oberen Seite der skalierten Projektionsfläche „T“ die untere Seite der skalierten Projektionsfläche „L“ und die obere Seite der skalierten Projektionsfläche „T“ verbindet.
In dieser Ausführungsform weisen alle der skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ die gleiche Größe auf. Insbesondere ist eine Skalierungsoperation einer quadratischen Projektionsfläche auf der Basis einer Auffüllbereichsverteilung ausgelegt, die mit einer skalierten Projektionsfläche verknüpft ist, die von der quadratischen Projektionsfläche erhalten wird. Es sei auf 6 in Verbindung mit 5 verwiesen. Die skalierte Projektionsfläche „F“ wird von einem Anwenden eines Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Vorne“ und einem Anwenden eines Skalierungsfaktors s auf die v-Achse der quadratischen Projektionsfläche „Vorne“ generiert, wobei $s = \frac{f w - p}{f w} = \frac{f h - p}{f h} .$
Die skalierte Projektionsfläche „BK“ wird von einem Anwenden des Skalierungsfaktors s auf die u-Achse der quadratischen Projektionsfläche „Hinten“ und einem Anwenden des Skalierungsfaktors 1 auf die v-Achse der quadratischen Projektionsfläche „Hinten“ erhalten. Die skalierte Projektionsfläche „R“ wird von einem Anwenden des Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Rechts“ und einem Anwenden des Skalierungsfaktors s auf die v-Achse der quadratischen Projektionsfläche „Rechts“ erhalten. Die skalierte Projektionsfläche „L“ wird von einem Anwenden des Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Links“ und einem Anwenden des Skalierungsfaktors s auf die v-Achse der quadratischen Projektionsfläche „Links“ erhalten. Die skalierte Projektionsfläche „T“ wird von einem Anwenden des Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Oben“ und einem Anwenden des Skalierungsfaktors s auf die v-Achse der quadratischen Projektionsfläche „Oben“ erhalten. Die skalierte Projektionsfläche „B“ wird von einem Anwenden des Skalierungsfaktors 1 auf die u-Achse der quadratischen Projektionsfläche „Unten“ und einem Anwenden des Skalierungsfaktors s auf die v-Achse der quadratischen Projektionsfläche „Unten“ erhalten. Die Festlegungen von Skalierungsfaktoren für unterschiedliche quadratische Projektionsflächen sind in der nachfolgenden Tabelle aufgelistet.

Fläche Achse Skalierungsfaktor

Vorne u l

Rechts

Links v s

Oben

Unten

Hinten u s

v l
Wie in 6 gezeigt, weist jede der skalierten Projektionsflächen „R“, „F“, „L“, „B“, „BK“ und „T“ eine Größe von fw*(fh-p) auf. Wenn der projektionsbasierte Rahmen IMG die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 aufweist, weist der projektionsbasierte Rahmen IMG eine Rahmenbreite W=3*fw und eine Rahmenhöhe H=2*fh auf. Daher bleibt eine Größe eines projektionsbasierten Rahmens, der die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 600 verwendet, die gleiche wie diejenige eines projektionsbasierten Rahmens, der eine kompakte CMP-Anordnung ohne Auffüllung verwendet (z.B. die in 2 gezeigte kompakte CMP-Anordnung 204).
In einer anderen alternativen Auslegung kann ein Auffüllen um jede Fläche herum angewendet werden. In einigen Ausführungsformen der vorliegenden Erfindung kann eine Projektionsanordnungskonvertierung an der Zielelektronikvorrichtung 104 zum Konvertieren eines decodierten Bilds mit einer Projektionsanordnung in ein konvertiertes Bild mit einer unterschiedlichen Projektionsanordnung ausgeführt werden. Eine Interpolation kann auf Pixelwerte von ganzzahligen Pixeln des decodierten Bilds ausgeführt werden, um einen Pixelwert zu bestimmen, welcher einem ganzzahligen Pixel des konvertierten Bilds zugewiesen wird. Um Artefakte zu reduzieren, die durch eine Projektionsanordnungskonvertierung eingeführt werden, kann auch ein Auffüllen auf eine Bildinhaltskontinuitätskante zwischen angrenzenden Projektionsflächen angewendet werden.
7 ist ein Diagramm, das eine dritte würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie die kompakte CMP-Anordnung mit einer Auffüllung 300 ist die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 in der Lage, die Bildqualität an diskontinuierlichen Anordnungsgrenzen und diskontinuierlichen Flächenkanten nach einer Komprimierung zu verbessern. Zusätzlich wird ein Auffüllen auf kontinuierliche Flächenkanten gemäß der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 angewendet. Verglichen mit der kompakten CMP-Anordnung mit einer Auffüllung 300 weist die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 eine geringere Größe auf. Zum Beispiel ist die Größe der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 die gleiche wie diejenige einer kompakten CMP-Anordnung ohne Auffüllung (z.B. die in 2 gezeigte kompakte CMP-Anordnung 204).
Wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 festgelegt ist, sind sowohl die Skalierungsschaltung 117 als auch die Auffüllschaltung 118, die in der Konvertierungsschaltung 114 implementiert sind, aktiviert. Zum Beispiel empfängt die Konvertierungsschaltung 114 einen Rundum-Bildinhalt der Kugel 200 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ von der würfelbasierten Projektion des Rundum-Bildinhalts der Kugel 200, wobei die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ die gleiche Flächenbreite fw und die gleiche Flächenhöhe fh aufweisen. Die Skalierungsschaltung 117 ist ausgelegt, die quadratischen Projektionsflächen „Oben“, „Hinten“, „Unten“, „Rechts“, „Vorne“ und „Links“ zu skalieren, um eine Mehrzahl von jeweils skalierten Projektionsflächen (gekennzeichnet durch „T“, „BK“, „B“, „R“, „F“ und „L“) zu generieren. Die Orientierung der Kennzeichnungen „T“, „BK“, „B“, „R“, „F“ und „L“ zeigt die Orientierung der projizierten Bildinhalte an. Zusätzlich ist die Auffüllschaltung 118 ausgelegt, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen von skalierten Projektionsflächen und Auffüllbereichen in der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700.
Gemäß der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 erzeugt die Auffüllschaltung 118 einen oberen Auffüllbereich, einen linken Auffüllbereich, einen unteren Auffüllbereich und einen rechten Auffüllbereich für jede skalierte Projektionsfläche, wobei jeder Auffüllbereich die gleiche Auffüllgröße p aufweist (z.B. p=4). Die skalierte Projektionsfläche „R“ als Beispiel nehmend ist sie durch einen oberen Auffüllbereich PR71, einen linken Auffüllbereich PR72, einen unteren Auffüllbereich PR73 und einen rechten Auffüllbereich PR74 eingeschlossen.
Verglichen mit der kompakten CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400, umfasst die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 weiter ein Auffüllen, das auf kontinuierliche Flächenkanten angewendet wird. Wenn die rechte Seite der skalierten Projektionsfläche „R“ die linke Seite der der skalierten Projektionsfläche „F“ berührt, existiert eine Bildinhaltskontinuitätskante zwischen der rechten Seite der skalierten Projektionsfläche „R“ und der linken Seite der skalierten Projektionsfläche „F“. Wenn die rechte Seite der skalierten Projektionsfläche „F“ die linke Seite der der skalierten Projektionsfläche „L“ berührt, existiert eine Bildinhaltskontinuitätskante zwischen der rechten Seite der skalierten Projektionsfläche „F“ und der linken Seite der skalierten Projektionsfläche „L“. Wenn die rechte Seite der skalierten Projektionsfläche „B“ die linke Seite der der skalierten Projektionsfläche „BK“ berührt, existiert eine Bildinhaltskontinuitätskante zwischen der rechten Seite der skalierten Projektionsfläche „B“ und der linken Seite der skalierten Projektionsfläche „BK“. Wenn die rechte Seite der skalierten Projektionsfläche „BK“ die linke Seite der der skalierten Projektionsfläche „T“ berührt, existiert eine Bildinhaltskontinuitätskante zwischen der rechten Seite der skalierten Projektionsfläche „BK“ und der linken Seite der skalierten Projektionsfläche „T“. Ein rechter Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „R“ erstreckt, und ein linker Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „F“ erstreckt, bilden einen Teil eines vertikalen Auffüllbereichs, welcher die rechte Seite der skalierten Projektionsfläche „R“ von der linken Seite der skalierten Projektionsfläche „F“ isoliert. Ein rechter Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „F“ erstreckt, und ein linker Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „L“ erstreckt, bilden einen Teil eines vertikalen Auffüllbereichs, welcher die rechte Seite der skalierten Projektionsfläche „F“ von der linken Seite der skalierten Projektionsfläche „L“ isoliert. Ein rechter Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „B“ erstreckt, und ein linker Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „BK“ erstreckt, bilden einen Teil eines vertikalen Auffüllbereichs, welcher die rechte Seite der skalierten Projektionsfläche „B“ und die linke Seite der skalierten Projektionsfläche „BK“ isoliert. Ein rechter Auffüllbereich, der sich von der rechten Seite der skalierten Projektionsfläche „BK“ erstreckt, und ein linker Auffüllbereich, der sich von der linken Seite der skalierten Projektionsfläche „T“ erstreckt, bilden einen Teil eines vertikalen Auffüllbereichs, welcher die rechte Seite der skalierten Projektionsfläche „BK“ von der linken Seite der skalierten Projektionsfläche „T“ isoliert.
In dieser Ausführungsform weisen alle der skalierten Projektionsflächen „T“, „BK“, „B“, „R“, „F“ und „L“ die gleiche Größe auf. Genauer ist eine Skalierungsoperation einer quadratischen Projektionsfläche auf der Basis einer Auffüllbereichsverteilung ausgelegt, die mit einer skalierten Projektionsfläche verknüpft ist, die von der quadratischen Projektionsfläche erhalten wird. Es sei auf 7 in Verbindung mit 5 verwiesen. Die skalierte Projektionsfläche „F“ wird von einem Anwenden eines Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Vorne“ generiert, wobei $s' = \frac{f w - 2 p}{f w} = \frac{f h - 2 p}{f h} .$
Die skalierte Projektionsfläche „BK“ wird von einem Anwenden des Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Hinten“ generiert. Die skalierte Projektionsfläche „R“ wird von einem Anwenden des Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Rechts“ generiert. Die skalierte Projektionsfläche „L“ wird von einem Anwenden des Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Links“ generiert. Die skalierte Projektionsfläche „T“ wird von einem Anwenden des Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Oben“ generiert. Die skalierte Projektionsfläche „B“ wird von einem Anwenden des Skalierungsfaktors s' auf sowohl die u-Achse als auch die v-Achse der quadratischen Projektionsfläche „Unten“ generiert. Die Festlegungen von Skalierungsfaktoren für unterschiedliche quadratische Projektionsflächen sind in der nachfolgenden Tabelle aufgelistet.

Fläche Achse Skalierungsfaktor

Vorne u s'

Hinten

Rechts

Links v s'

Oben

Unten
Wie in 7 gezeigt, weist jede der skalierten Projektionsflächen „R“, „F“, „L“, „B“, „BK“ und „T“ eine Größe von (fw-2*p)*(fh-2*p) auf. Wenn der projektionsbasierte Rahmen IMG die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 aufweist, weist der projektionsbasierte Rahmen eine Rahmenbreite W=3*fw und eine Rahmenhöhe H=2*fh auf. Daher bleibt eine Größe eines projektionsbasierten Rahmens, der die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 700 verwendet, die gleiche wie diejenige eines projektionsbasierten Rahmens, der eine kompakte CMP-Anordnung ohne Auffüllung verwendet (z.B. die in 2 gezeigte kompakte CMP-Anordnung 204).
In einer beispielhaften Auffüllimplementierung wendet die Auffüllschaltung 118 ein Geometrie-Auffüllen auf eine skalierte Projektionsfläche an, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, welcher mindestens die skalierte Projektionsfläche berührt. Die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 als Beispiel nehmend weist der obere Auffüllbereich PR31 einen linken Geometrie-Abbildungsbereich, einen mittleren Geometrie-Abbildungsbereich und einen rechten Geometrie-Abbildungsbereich auf. Der linke Geometrie-Abbildungsbereich des oberen Auffüllbereichs PR31 wird von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den linken Geometrie-Abbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die skalierte Projektionsfläche „R“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der skalierten Projektionsfläche „R“ und dem linken Geometrie-Abbildungsbereich, der sich von der skalierten Projektionsfläche „R“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der skalierten Projektionsfläche „R“ und dem linken Geometrie-Abbildungsbereich repräsentiert). Ähnlich wird der mittlere Geometrie-Abbildungsbereich des oberen Auffüllbereichs PR31 von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den mittleren Geometrie-Abbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die skalierte Projektionsfläche „F“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der skalierten Projektionsfläche „F“ und dem mittleren Geometrie-Abbildungsbereich, der sich von der skalierten Projektionsfläche „F“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der skalierten Projektionsfläche „F“ und dem mittleren Geometrie-Abbildungsbereich repräsentiert). Außerdem wird der rechte Geometrie-Abbildungsbereich des oberen Auffüllbereichs PR31 von einem Abbilden des Bildinhalts eines Bereichs auf der Kugel 200 auf den rechten Geometrie-Abbildungsbereich erhalten, wobei der Bereich auf der Kugel 200 an einen Bereich angrenzt, von welchem die skalierte Projektionsfläche „L“ erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der skalierten Projektionsfläche „L“ und dem rechten Geometrie-Abbildungsbereich, der sich von der skalierten Projektionsfläche „L“ erstreckt (d.h., ein Bildinhalt wird kontinuierlich in der skalierten Projektionsfläche „L“ und dem rechten Geometrie-Abbildungsbereich repräsentiert).
In einer anderen beispielhaften Auffüllauslegung legt die Auffüllschaltung 118 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten spezifischer Pixel fest, die in einer skalierten Projektionsfläche enthalten sind, welche den Auffüllbereich berührt. Die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 als Beispiel nehmend weist der obere Auffüllbereich PR31 einen linken Duplizierungsbereich, einen mittleren Duplizierungsbereich und einen rechten Duplizierungsbereich auf. Hinsichtlich einer Generierung des linken Duplizierungsbereichs des oberen Auffüllbereichs PR31 werden Kantenpixel an der oberen Seite der skalierten Projektionsfläche „R“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der skalierten Projektionsfläche „R“ erstrecken. Hinsichtlich einer Generierung des mittleren Duplizierungsbereichs des oberen Auffüllbereichs PR31 werden Kantenpixel an der oberen Seite der skalierten Projektionsfläche „F“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der skalierten Projektionsfläche „F“ erstrecken. Hinsichtlich einer Generierung des rechten Duplizierungsbereichs des oberen Auffüllbereichs PR31 werden Kantenpixel an der oberen Seite der skalierten Projektionsfläche „L“ dupliziert, um Auffüllpixel zu erzeugen, die sich von der oberen Seite der skalierten Projektionsfläche „L“ erstrecken.
In noch einer anderen beispielhaften Auffüllimplementierung legt die Auffüllschaltung 118 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, der sich von einer Seite einer ersten skalierten Projektionsfläche erstreckt, durch ein Duplizieren von Pixelwerten spezifischer Pixel fest, die in einer zweiten skalierten Projektionsfläche enthalten sind. Zum Beispiel wird die erste skalierte Projektionsfläche von einem Bildinhalt eines ersten Bereichs auf einer Kugel erhalten, und die zweite skalierte Projektionsfläche wird von einem Bildinhalt eines zweiten Bereichs auf der Kugel erhalten, wobei der zweite Bereich an den ersten Bereich angrenzt. Ein Auffüllbereich, der sich von einer Seite der ersten skalierten Projektionsfläche erstreckt, kann von einem Duplizieren eines Teilbereichs der zweiten skalierten Projektionsfläche erhalten werden. Die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400 als Beispiel nehmend weist der obere Auffüllbereich PR31 einen linken Duplizierungsbereich, einen mittleren Duplizierungsbereich und einen rechten Duplizierungsbereich auf. Der linke Duplizierungsbereich des oberen Auffüllbereichs PR31 wird durch ein Duplizieren eines ersten Teilbereichs der skalierten Projektionsfläche „T“ festgelegt. Der mittlere Duplizierungsbereich des oberen Auffüllbereichs PR31 wird durch ein Duplizieren eines zweiten Teilbereichs der skalierten Projektionsfläche „T“ festgelegt. Der rechte Duplizierungsbereich des oberen Auffüllbereichs PR31 wird durch ein Duplizieren eines dritten Teilbereichs der skalierten Projektionsfläche „T“ festgelegt.
Wie vorstehend erwähnt, empfängt der Videodecodierer 122 der Zielelektronikvorrichtung 104 den Bitstrom BS von der Übertragungseinrichtung 103 und führt eine Videodecodierungsfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um den decodierten Rahmen IMG' zu generieren, welcher ein decodierter projektionsbasierter Rahmen ist, der die gleiche 360-VR-Projektionsanordnung L_VR aufweist, die von der Konvertierungsschaltung 114 der Quellenelektronikvorrichtung 102 eingesetzt wird. In einem Fall, in welchem die 360-VR-Projektionsanordnung L_VR durch eine würfelbasierte Projektionsanordnung mit einer Auffüllung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung 300 oder die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400/600/700) festgelegt ist, weist der decodierte Rahmen IMG' Auffüllbereiche auf, die sich an diskontinuierlichen Anordnungsgrenzen, diskontinuierlichen Flächenkanten und/oder kontinuierlichen Flächenkanten einer Projektionsanordnung befinden. In einer Ausführungsform kann der Videodecodierer 122 die Auffüllbereiche abschneiden, sodass nur die Nicht-Auffüllbereiche (z.B. die quadratischen Projektionsflächen, die ursprünglich von der würfelbasierten Projektion erhalten werden, oder die skalierten Projektionsflächen, die von einem Skalieren quadratischer Projektionsflächen abgeleitet werden, die ursprünglich von der würfelbasierten Projektion erhalten werden) rekonstruiert werden. In einer alternativen Auslegung kann der Videodecodierer 122 eine Mischschaltung 127 aktivieren, welche ausgelegt ist, ein Mischen nach dem Codieren auszuführen. Die Mischschaltung 127 führt eine Mischfunktion aus, welche auf Auffüllpixeln in einem Auffüllbereich und Flächenpixeln (d.h., Nicht-Auffüllpixel) in einer Projektionsfläche basiert. Daher rekonstruiert der Videodecodierer 122 während des Decodierungsprozesses eines Generierens des decodierten Rahmens IMG' ein erstes Pixel durch ein Mischen eines decodierten Pixelwerts, der für das erste Pixel erhalten wird, und eines decodierten Pixelwerts, der für ein zweites Pixel erhalten wird, um einen aktualisierten Pixelwert des ersten Pixels zu generieren, wobei eins des ersten Pixels und des zweiten Pixels in einer Projektionsfläche enthalten ist, und ein anderes des ersten Pixels und des zweiten Pixels in einem Auffüllbereich enthalten ist.
Die Mischschaltung 127 ist eine Elektronikschaltung. In einer beispielhaften Auslegung kann die Mischschaltung 127 durch eine dedizierte Hardware zum Behandeln der Mischfunktion implementiert sein. In einer anderen beispielhaften Auslegung kann die Mischschaltung 127 durch einen Prozessor implementiert sein, welcher einen Programm-Code zum Behandeln der Mischfunktion ausführt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein.
Zum Beispiel kann ein Pixelwert eines Flächenpixels (Nicht-Auffüllpixel) in einer Projektionsfläche (Nicht-Auffüllbereich) durch ein Mischen eines ursprünglich decodierten Pixelwerts des Flächenpixels mit einem decodierten Pixelwert eines korrespondierenden Auffüllpixels in einem Auffüllbereich aktualisiert werden. In einem Fall, in welchem eine Geometrie-Abbildung durch die Auffüllschaltung 118 auf der Codiererseite eingesetzt wird, ist ein Abbilden von einem Flächenpixel auf sein korrespondierendes Auffüllpixel notwendig. 8 ist ein Diagramm, das einen Prozess eines Findens eines korrespondierenden Auffüllpixels für ein Flächenpixel gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Flächenpixel T wird erst auf einen 3D-Punkt S auf der Kugel 200 abgebildet. Als Nächstes wird der 3D-Punkt S auf der Kugel 200 über eine würfelbasierte Projektion auf die zweit-naheste Fläche projiziert, um das korrespondierende Auffüllpixel T' zu finden. Das korrespondierende Auffüllpixel T', das in dem Auffüllbereich gefunden wird, mag nicht an einer ganzzahligen Position liegen. Wenn mindestens eine einer u-Achsenkoordinate u und einer v-Achsenkoordinate v des korrespondierenden Auffüllpixels T' eine nichtganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in dem Videodecodierer 122 (insbesondere der Mischschaltung 127) auf decodierte Pixelwerte ganzzahliger Pixel um das korrespondierende Auffüllpixel T' herum angewendet werden, um einen decodierten Pixelwert des korrespondierenden Auffüllpixels T' abzuleiten.
9 ist ein Ablaufdiagramm, das ein Mischverfahren zum Generieren eines aktualisierten Pixelwerts eines Flächenpixels gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Bei Schritt 902 selektiert die Mischschaltung 127 ein Flächenpixel von einer Projektionsfläche, die in einer würfelbasierten Projektionsanordnung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung 300 oder die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400/600/700) gepackt ist. Bei Schritt 904 wendet die Mischschaltung 127 Abbildungsfunktionen an, um ein korrespondierendes Pixel zu finden, wobei das zu aktualisierende Flächenpixel und das korrespondierende Pixel auf den gleichen 3D-Punkt auf einer Kugel in einem 3D-Raum abgebildet werden. Bei Schritt 906 prüft die Mischschaltung 127, ob sich das korrespondierende Pixel innerhalb eines Auffüllbereichs befindet, der in der würfelbasierten Projektionsanordnung gepackt ist. Das heißt, die Mischschaltung 127 prüft, ob das korrespondierende Pixel ein Auffüllpixel ist. Wenn das korrespondierende Pixel kein Auffüllpixel ist, fährt der Ablauf mit Schritt 908 fort. Bei Schritt 908 wird ein Mischprozess des aktuell selektierten Flächenpixels abgebrochen, und die Mischschaltung 127 selektiert ein nächstes zu aktualisierendes Flächenpixel von einer Projektionsfläche, die in der würfelbasierten Projektionsanordnung gepackt ist.
Wenn das korrespondierende Pixel ein Auffüllpixel ist, fährt der Ablauf mit Schritt 910 fort. Bei Schritt 910 prüft die Mischschaltung 127, ob das korrespondierende Auffüllpixel, das in dem Auffüllbereich gefunden wurde, ein nicht-ganzzahliger Punkt ist. Wenn das korrespondierende Auffüllpixel, das in dem Auffüllbereich gefunden wurde, ein ganzzahliger Punkt ist, fährt der Ablauf mit Schritt 914 fort. Wenn das korrespondierende Auffüllpixel, das in dem Auffüllbereich gefunden wurde, ein nicht-ganzzahliger Punkt ist, tastet die Mischschaltung 127 das korrespondierende Auffüllpixel durch eine Interpolation erneut ab (Schritt 912). Das heißt, ein Interpolationsfilter (nicht gezeigt) in der Mischschaltung 127 wird verwendet, um eine Interpolation auf decodierte Pixelwerte von ganzzahligen Pixeln um das korrespondierende Auffüllpixel (welches ein nicht-ganzzahliges Pixel ist) herum anzuwenden, um einen decodierten Pixelwert des korrespondierenden Auffüllpixels abzuleiten. Bei Schritt 914 mischt die Mischschaltung 127 einen decodierten Pixelwert des Flächenpixels mit einem decodierten Pixelwert des korrespondierenden Auffüllpixels, um einen aktualisierten Pixelwert des Flächenpixels zu generieren. In einigen Ausführungsformen der vorliegenden Erfindung kann durch die Mischschaltung 127 ein abstandsbasiertes Gewichtungsschema eingesetzt werden.
Als ein anderes Beispiel kann ein Pixelwert eines Auffüllpixels in einem Auffüllbereich durch ein Mischen eines ursprünglich decodierten Pixelwerts des Auffüllpixels in dem Auffüllbereich und eines Pixelwerts eines korrespondierenden Flächenpixels (Nicht-Auffüllpixel) in einer Projektionsfläche (Nicht-Auffüllbereich) aktualisiert werden. In einem Fall, in welchem durch die Auffüllschaltung 118 auf der Codiererseite eine Geometrie-Abbildung eingesetzt wird, ist ein Abbilden von einem Auffüllpixel auf sein korrespondierendes Flächenpixel notwendig. 10 ist ein Diagramm, das einen Prozess eines Findens eines korrespondierenden Flächenpixels für ein Auffüllpixel gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Auffüllpixel T' wird erst auf einen 3D-Punkt S auf der Kugel 200 abgebildet. Als Nächstes wird der 3D-Punkt S auf der Kugel 200 auf eine naheste Fläche projiziert, um das korrespondierende Flächenpixel T zu finden. Das korrespondierende Flächenpixel T, das in der Projektionsfläche gefunden wird, mag nicht an einer ganzzahligen Position liegen. Wenn mindestens eine von einer u-Achsenkoordinate u und einer v-Achsenkoordinate v des korrespondierenden Flächenpixels T eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in dem Videodecodierer 122 (insbesondere der Mischschaltung 127) auf decodierte Pixelwerte von ganzzahligen Pixeln um das korrespondierende Flächenpixel T herum angewendet werden, um einen decodierten Pixelwert des korrespondierenden Flächenpixels T abzuleiten.
11 ist ein Ablaufdiagramm, das ein Mischverfahren zum Generieren eines aktualisierten Pixelwerts eines Auffüllpixels gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Bei Schritt 1102 selektiert die Mischschaltung 127 ein Auffüllpixel von einem Auffüllbereich, der in einer würfelbasierten Projektionsanordnung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung 300 oder die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400/600/700) gepackt ist. Bei Schritt 1104 wendet die Mischschaltung 127 Abbildungsfunktionen an, um ein korrespondierendes Flächenpixel zu finden, wobei das zu aktualisierende Auffüllpixel und das korrespondierende Flächenpixel auf den gleichen 3D-Punkt auf einer Kugel in einem 3D-Raum abgebildet werden. Bei Schritt 1106 prüft die Mischschaltung 127, ob das korrespondierende Flächenpixel, das in der Projektionsfläche gefunden wurde, ein nicht-ganzzahliger Punkt ist. Wenn das korrespondierende Flächenpixel, das in der Projektionsfläche gefunden wurde, ein ganzzahliger Punkt ist, fährt der Ablauf mit Schritt 1110 fort. Wenn das korrespondierende Flächenpixel, das in der Projektionsfläche gefunden wurde, ein nicht-ganzzahliger Punkt ist, tastet die Mischschaltung 127 das korrespondierende Flächenpixel durch eine Interpolation (Schritt 1108) erneut ab. Das heißt, ein Interpolationsfilter (nicht gezeigt) in der Mischschaltung 127 wird verwendet, um eine Interpolation auf decodierte Pixelwerte von ganzzahligen Pixeln um das korrespondierende Flächenpixel (welches ein nicht-ganzzahliges Pixel ist) herum anzuwenden, um einen decodierten Pixelwert des korrespondierenden Flächenpixels abzuleiten. Bei Schritt 1110 mischt die Mischschaltung 127 einen decodierten Pixelwert des Auffüllpixels mit einem decodierten Pixelwert des korrespondierenden Flächenpixels, um einen aktualisierten Pixelwert des Auffüllpixels zu generieren. In einigen Ausführungsformen der vorliegenden Erfindung kann durch die Mischschaltung 127 ein abstandsbasiertes Gewichtungsschema eingesetzt werden.
12 ist ein Diagramm, das eine erste decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie in 12 gezeigt, wird ein Auffüllen um eine 3x1 Flächenzeile herum angewendet. Zum Beispiel kann durch die Auffüllschaltung 118 die in 3/4 gezeigte beispielhafte Auffüllauslegung eingesetzt werden. Daher kann die 3x1 Flächenzeile Projektionsflächen aufweisen, die von einer rechten Fläche, einer vorderen Fläche und einer linken Fläche eines Würfels erhalten werden, oder kann Projektionsflächen aufweisen, die von einer unteren Fläche, einer hinteren Fläche und einer oberen Fläche des Würfels erhalten werden. Ein Teilgebiet 1202 an einer oberen rechten Ecke der 3x1 Flächenzeile ist vergrößert, um ein erstes Mischverfahren darzustellen, das durch die Mischschaltung 127 eingesetzt wird. Nach einem Codieren kann ein Mischen mit einer abstandsbasierten Gewichtungsfunktion, wie nachfolgend gezeigt, angewendet werden, um ein Zielpixel durch ein Mischen mit seinem korrespondierenden Pixel, welches durch Abbildungsfunktionen gefunden wird, zu aktualisieren. $A_{u p d a t e} = \frac{A \cdot d + A' \cdot (D - d)}{D}$
In der vorstehenden Formel (1) repräsentiert A einen decodierten Pixelwert, der für das Zielpixel erhalten wird, A_update repräsentiert den aktualisierten Pixelwert des Zielpixels, A' repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Pixel erhalten wird, D repräsentiert eine Breite von zu mischenden Pixeln und d repräsentiert einen Abstand von dem Zielpixel zu einer Auffüllgrenze. Zum Beispiel kann der Parameter d durch einen nichtganzzahligen Wert festgelegt sein, welcher von einem Zentrum des Zielpixels zu der Auffüllgrenze gezählt wird.
Die Mischschaltung 127 wendet einen ersten Gewichtungsfaktor $\frac{d}{D}$
auf den decodierten Pixelwert A an, der für das Zielpixel erhalten wird, und wendet einen zweiten Gewichtungsfaktor $\frac{D - d}{D}$
auf den decodierten Pixelwert A' an, der für das korrespondierende Pixel erhalten wird, wobei Festlegungen des ersten Gewichtungsfaktors und des zweiten Gewichtungsfaktors beide von einer Lage des zu aktualisierenden Zielpixels abhängen und unabhängig von einer Auffüllgröße des Auffüllbereichs sind.
Es sei angenommen, dass Flächenpixel (Nicht-Auffüllpixel) Y1 und Y2 und Auffüllpixel Y3, Y4, Y5 in der gleichen Pixelspalte durch ein Mischen aktualisiert werden müssen. Der Parameter D kann durch 5 festgelegt sein. Wenn das zu aktualisierende Zielpixel das Flächenpixel Y1 ist, kann der Parameter d durch 4,5 festgelegt sein. Wenn das zu aktualisierende Zielpixel das Flächenpixel Y2 ist, kann der Parameter d durch 3,5 festgelegt sein. Wenn das zu aktualisierende Zielpixel das Auffüllpixel Y3 ist, kann der Parameter d durch 2,5 festgelegt sein. Wenn das zu aktualisierende Zielpixel das Auffüllpixel Y4 ist, kann der Parameter d durch 1,5 festgelegt sein. Wenn das zu aktualisierende Zielpixel das Auffüllpixel Y5 ist, kann der Parameter d durch 0,5 festgelegt sein.
13 ist ein Diagramm, das eine zweite decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie in 13 gezeigt, wird ein Auffüllen um zwei 3x1 Flächenzeilen herum angewendet. Eine 3x1 Flächenzeile weist eine rechte Fläche (gekennzeichnet durch „4“), eine vordere Fläche (gekennzeichnet durch „0“) und eine linke Fläche (gekennzeichnet durch „5“) auf. Die andere 3x1 Flächenzeile weist eine untere Fläche (gekennzeichnet durch „3“), eine hintere Fläche (gekennzeichnet durch „1“) und eine obere Fläche (gekennzeichnet durch „2“) auf. Die Orientierung der Kennzeichnungen „0“-„5“ zeigt die Orientierung der projizierten Bildinhalte an. Zum Beispiel kann durch die Auffüllschaltung 118 die in 3/4 gezeigte beispielhafte Auffüllauslegung eingesetzt werden. Ein rekonstruierter Pixelwert eines Zielpixels (welches ein Flächenpixel ist) in einer Projektionsfläche ist ein aktualisierter Pixelwert, welcher unter Verwendung einer nachfolgenden Formel berechnet werden kann $A_{u p d a t e} = \frac{A' \cdot (p a d - d) + A \cdot (p a d + d)}{2 \cdot d}$
In der vorstehenden Formel (2) repräsentiert A einen decodierten Pixelwert, der für ein Zielpixel (welches ein Flächenpixel ist) erhalten wird, A_update repräsentiert den aktualisierten Pixelwert des Zielpixels, A' repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Pixel (welches ein Auffüllpixel ist, das durch Abbildungsfunktionen gefunden wird) erhalten wird, pad repräsentiert eine Auffüllgröße des Auffüllbereichs, und d repräsentiert einen Abstand zwischen dem korrespondierenden Pixel und einer Seite der Projektionsfläche (welche ein Nicht-Auffüllbereich ist). Insbesondere wendet die Mischschaltung 127 einen ersten Gewichtungsfaktor $\frac{p a d - d}{2 \cdot p a d}$
auf den decodierten Pixelwert A' an, der für das korrespondierende Pixel (welches ein Auffüllpixel ist) erhalten wird, und wendet einen zweiten Gewichtungsfaktor $\frac{p a d + d}{2 \cdot p a d}$
auf den decodierten Pixelwert A an, der für das Zielpixel (welches ein Flächenpixel ist) erhalten wird, wobei Festlegungen des ersten Gewichtungsfaktors und des zweiten Gewichtungsfaktors beide von einer Lage des korrespondierenden Pixels und der Auffüllgröße des Auffüllbereichs abhängen.
14 ist ein Diagramm, das eine dritte decodiererseitige Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie in 14 gezeigt, wird ein Auffüllen um zwei 3x1 Flächenzeilen angewendet. Eine 3x1 Flächenzeile weist eine rechte Fläche (gekennzeichnet durch „4“), eine vordere Fläche (gekennzeichnet durch „0“) und eine linke Fläche (gekennzeichnet durch „5“) auf. Die andere 3x1 Flächenzeile weist eine untere Fläche (gekennzeichnet durch „3“), eine hintere Fläche (gekennzeichnet durch „1“) und eine obere Fläche (gekennzeichnet durch „2“) auf. Die Orientierung der Kennzeichnungen „0“-„5“ zeigt die Orientierung der projizierten Bildinhalte an. Zum Beispiel kann durch die Auffüllschaltung 118 die in 3/4 gezeigte beispielhafte Auffüllauslegung eingesetzt werden. Ein rekonstruierter Pixelwert eines Zielpixels (welches ein Auffüllpixel ist) in einem Auffüllbereich ist ein aktualisierter Pixelwert, welcher unter Verwendung einer nachfolgenden Formel berechnet werden kann. $A_{u p d a t e} = \frac{A' \cdot (p a d + d) + A \cdot (p a d - d)}{2 \cdot p a d}$
In der vorstehenden Formel (3) repräsentiert A einen decodierten Pixelwert, der für ein Zielpixel (welches ein Auffüllpixel ist) erhalten wird, A_update repräsentiert den aktualisierten Pixelwert des Zielpixels, A' repräsentiert einen decodierten Pixelwert, der für ein korrespondierendes Pixel (welches ein Flächenpixel ist, das durch Abbildungsfunktionen gefunden wird) erhalten wird, pad repräsentiert eine Auffüllgröße des Auffüllbereichs, und d repräsentiert einen Abstand zwischen dem Zielpixel und einer Seite der Projektionsfläche (welche ein Nicht-Auffüllbereich ist). Insbesondere wendet die Mischschaltung 127 einen ersten Gewichtungsfaktor $\frac{p a d + d}{2 \cdot p a d}$
auf den decodierten Pixelwert A' an, der für das korrespondierende Pixel (welches ein Flächenpixel ist) erhalten wird, und wendet einen zweiten Gewichtungsfaktor $\frac{p a d - d}{2 \cdot p a d}$
auf den decodierten Pixelwert A an, der für das Zielpixel (welches ein Auffüllpixel ist) erhalten wird, wobei Festlegungen des ersten Gewichtungsfaktors und des zweiten Gewichtungsfaktors beide von einer Lage des Zielpixels und der Auffüllgröße des Auffüllbereichs abhängen.
Hinsichtlich einer würfelbasierten Projektionsanordnung mir einer Auffüllung und/oder einer Flächenskalierung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung 300 oder die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400/600/700) existiert eine diskontinuierliche Kante zwischen zwei angrenzenden Auffüllbereichen, die sich von unterschiedlichen Projektionsflächen erstrecken. Wenn ein blockbasiertes Codierungsschema durch den Videocodierer 116 eingesetzt wird, können die decodierten Pixelwerte von Pixeln, die sich nah an der diskontinuierlichen Kante und auf einer Seite der diskontinuierliche Kante befinden, durch Pixel beeinflusst werden, welche sich nah an der diskontinuierlichen Kante und auf der anderen Seite der diskontinuierlichen Kante befinden. Wie vorstehend erwähnt, wird zum Aktualisieren des decodierten Pixels des Zielpixels ein Mischen auf einen decodierten Pixelwert eines Zielpixels und einen decodierten Pixelwert eines korrespondierenden Pixels angewendet. Wenn sich das korrespondierende Pixel nah an der diskontinuierliche Kante befindet, kann der decodierte Pixelwert des korrespondierenden Pixels nach einer Codierung stark von dem ursprünglichen Pixelwert des korrespondierenden Pixels vor einer Codierung abweichen. Als eine Folge kann das Zielpixel, das durch das Mischen aktualisiert wird, zu einer Bildqualitätsverschlechterung führen. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung ein teilweise ausgelassenes Mischschema vor. Gemäß dem teilweise ausgelassenen Mischschema vergleicht die Mischschaltung 127 einen Abstand zwischen einer Bildinhaltsdiskontinuitätskante und einem korrespondierenden Pixel, das für ein zu aktualisierendes Zielpixel gefunden wird, mit einem vorbestimmten Schwellenwert. Ein Mischen eines decodierten Pixelwerts, der für das Zielpixel erhalten wird, und eines decodierten Pixelwerts, der für das korrespondierende Pixel erhalten wird, wird unter einer Bedingung ausgeführt, dass der Abstand den vorbestimmten Schwellenwert überschreitet. Mit anderen Worten wird ein Mischen des decodierten Pixelwerts, der für das Zielpixel erhalten wird, und des decodierten Pixelwerts, der für das korrespondierende Pixel erhalten wird, ausgelassen, wenn der Abstand geringer ist als der vorbestimmte Schwellenwert.
15 ist ein Diagramm, das ein Beispiel eines Prüfens einer Lage eines korrespondierenden Pixels, um eine decodiererseitige Mischberechnung zum Aktualisieren eines Pixelwerts eines Zielpixels selektiv zu aktivieren, darstellt. In diesem Beispiel wird ein Auffüllen nur auf eine Mitte eines Rahmens angewendet, um zwei diskontinuierliche 3x1 Flächenzeilen zu trennen. Daher weist ein horizontaler Auffüllbereich PR_B Auffüllbereiche auf, die sich von unteren Seiten einer rechten Flächen (gekennzeichnet durch „4“), einer vorderen Fläche (gekennzeichnet durch „0“) und einer linken Fläche (gekennzeichnet durch „5“) erstrecken, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung und/oder einer Flächenskalierung gepackt sind, und ein anderer horizontaler Auffüllbereich PR_T weist Auffüllbereiche auf, die sich von oberen Seiten einer unteren Fläche (gekennzeichnet durch „3“), einer hinteren Fläche (gekennzeichnet durch „1“) und einer oberen Fläche (gekennzeichnet durch „2“) erstrecken, die in der würfelbasierten Projektionsanordnung mit einer Auffüllung und/oder einer Flächenskalierung gepackt sind. Es gibt eine diskontinuierliche Kante EG_D zwischen den horizontalen Auffüllbereichen PR_B und PR_T. Es sei angenommen, dass ein Geometrie-Auffüllen zum Festlegen von Auffüllpixeln in den horizontalen Auffüllbereichen PR_B und PR_T eingesetzt wird. Wenn das zu aktualisierende Zielpixel ein Flächenpixel A ist, wird ein korrespondierendes Auffüllpixel A' in dem horizontalen Auffüllbereich PR_B durch Abbildungsfunktionen gefunden. Die Mischschaltung 127 vergleicht einen Abstand zwischen dem korrespondierenden Auffüllpixel A' und der diskontinuierlichen Kante EG_D mit einem vorbestimmten Schwellenwert TH. Da der Abstand zwischen dem korrespondierenden Auffüllpixel A' und der diskontinuierlichen Kante EG_D geringer ist als der vorbestimmte Schwellenwert TH, bedeutet dies, dass das korrespondierende Auffüllpixel A' nah an der diskontinuierlichen Kante EG_D liegt. Daher lässt die Mischschaltung 127 einen Mischprozess eines Aktualisierens eines decodierten Pixelwerts des Flächenpixels A aus. Insbesondere wird ein Mischen für ein Zielpixel ausgelassen, wenn sich ein korrespondierendes Pixel innerhalb eines Bereichs R_PSB befindet, der durch den vorbestimmten Schwellenwert definiert ist.
Steuerinformationen können von der Quellenelektronikvorrichtung 102 durch den Bitstrom BS an die Zielelektronikvorrichtung 104 signalisiert werden. Zum Beispiel ist mindestens eins von Kennzeichen FL1-FL5 in dem Bitstrom BS enthalten, welcher von der Quellenelektronikvorrichtung 102 zu der Zielelektronikvorrichtung 104 übertragen wird.
In einigen Ausführungsformen der vorliegenden Erfindung kann die Skalierungsschaltung 117 selektiv aktiviert werden. Wenn die 360-VR-Projektionsanordnung L_VR durch eine würfelbasierte Projektionsanordnung mit einer Auffüllung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung 300) festgelegt ist, ist die Skalierungsschaltung 117 deaktiviert. Wenn die 360-VR-Projektionsanordnung L_VR durch eine würfelbasierte Projektionsanordnung mit einer Auffüllung und einer Flächenskalierung (z.B. die kompakte CMP-Anordnung mit einer Auffüllung und einer Flächenskalierung 400/600/700) festgelegt ist, ist die Skalierungsschaltung 117 aktiviert. Das Kennzeichen FL1 kann zu dem Bitstrom BS hinzugefügt werden, wobei das signalisierte Kennzeichen FL1 anzeigt, ob Projektionsflächen, die in einer Projektionsanordnung gepackt sind, skaliert sind.
In einigen Ausführungsformen der vorliegenden Erfindung kann die Auffüllschaltung 118 eine Mehrzahl von Auffüllanordnungen unterstützen, die ein „Auffüllen um zwei 3x1 Flächenzeilen herum“, ein „Auffüllen, das nur auf die Mitte des Rahmens angewendet wird“, ein „Auffüllen, das um jede Fläche herum angewendet wird“ und ein „Deaktivieren eines Auffüllens“ einschließen. Eins oder beide der Kennzeichen FL2 und FL3 können zu dem Bitstrom BS hinzugefügt werden, wobei das signalisierte Kennzeichen FL2 eine Auffüllanordnung von Auffüllbereichen anzeigt, die in einer Projektionsanordnung gepackt sind, und das signalisierte Kennzeichen FL3 eine Auffüllgröße jedes Auffüllbereichs anzeigt, der in der Projektionsanordnung gepackt ist.
In einigen Ausführungsformen der vorliegenden Erfindung kann die Mischschaltung 127 selektiv aktiviert werden. Zusätzlich kann die Mischschaltung 127 unterschiedliche Mischverfahren unterstützen, die ein „Mischverfahren 1“ (welches die vorstehend genannte Formel (1) einsetzt)“, ein „Mischverfahren 2“ (welches die vorstehenden Formeln (2) und (3) einsetzt) und ein „völlig ausgelassenes Mischen“ einschließen. Das Kennzeichen FL4 kann zu dem Bitstrom BS hinzugefügt werden, wobei das signalisierte Kennzeichen FL4 ein Mischverfahren anzeigt, welches der Mischschaltung 127 zugewiesen wird. Zum Beispiel leitet der Videodecodierer 122 das signalisierte Kennzeichen FL4 von dem Bitstrom BS ab, und dann bezieht sich die Mischschaltung 127 auf das Mischverfahren, das durch das signalisierte Kennzeichen FL4 angezeigt wird, um einen aktualisierten Pixelwert eines Zielpixels zu berechnen, wobei das Zielpixel ein Flächenpixel, das in einer Projektionsfläche enthalten ist, oder ein Auffüllpixel, das in einem Auffüllbereich enthalten ist, sein kann.
Weiter kann die Mischschaltung 127 ein Mischverfahren eines „teilweise ausgelassenen Mischens“ unterstützen. Das Kennzeichen FL5 kann zu dem Bitstrom BS hinzugefügt werden, wobei das signalisierte Kennzeichen FL5 anzeigt, ob das Mischverfahren eines „teilweise ausgelassenen Mischens“ aktiviert werden sollte. Zum Beispiel leitet der Videodecodierer 122 das signalisierte Kennzeichen FL5 von dem Bitstrom BS ab, und dann bezieht sich die Mischschaltung 127 auf das signalisierte Kennzeichen FL5, um zu bestimmen, ob das Mischverfahren eines „teilweise ausgelassenen Mischens“ zum Berechnen eines aktualisierten Pixelwerts eines Zielpixels zu aktivieren ist, wobei das Zielpixel ein Flächenpixel, das in einer Projektionsfläche enthalten ist, oder ein Auffüllpixel, das in einem Auffüllbereich enthalten ist, sein kann.
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als nur durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62637425 [0001]
US 62/712290 [0001]
US 62712290 [0001]

Claims

Videoverarbeitungsverfahren, umfassend: Erhalten einer Mehrzahl von quadratischen Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer würfelbasierten Projektion; Skalieren der quadratischen Projektionsflächen, um eine Mehrzahl von jeweils skalierten Projektionsflächen zu generieren; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; Generieren eines projektionsbasierten Rahmens durch ein Packen der skalierten Projektionsflächen und des mindestens einen Auffüllbereichs in einer Projektionsanordnung der würfelbasierten Projektion; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die skalierten Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste skalierte Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich mindestens die erste skalierte Projektionsfläche berührt und mindestens einen Teil einer Grenze der Projektionsanordnung bildet.
Videoverarbeitungsverfahren gemäß Anspruch 2, wobei die skalierten Projektionsflächen weiter eine zweite skalierte Projektionsfläche aufweisen; es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten skalierten Projektionsfläche und einer Seite der zweiten skalierten Projektionsfläche gibt, wenn die eine Seite der ersten skalierten Projektionsfläche die eine Seite der skalierten zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich weiter einen zweiten Auffüllbereich aufweist; und der zweite Auffüllbereich zum Isolieren der einen Seite der ersten skalierten Projektionsfläche von der einen Seite der zweiten skalierten Projektionsfläche in der Projektionsanordnung die eine Seite der ersten skalierten Projektionsfläche und die eine Seite der zweiten skalierten Projektionsfläche verbindet.
Videoverarbeitungsverfahren gemäß Anspruch 2, wobei die skalierten Projektionsflächen weiter eine zweite skalierte Projektionsfläche aufweisen; es eine Bildinhaltskontinuitätskante zwischen einer Seite der ersten skalierten Projektionsfläche und einer Seite der zweiten skalierten Projektionsfläche gibt, wenn die eine Seite der ersten skalierten Projektionsfläche die eine Seite der zweiten skalierten Projektionsfläche berührt; der mindestens eine Auffüllbereich weiter einen zweiten Auffüllbereich aufweist; und der zweite Auffüllbereich zum Isolieren der einen Seite der ersten skalierten Projektionsfläche von der einen Seite der zweiten skalierten Projektionsfläche in der Projektionsanordnung die eine Seite der ersten skalierten Projektionsfläche und die eine Seite der zweiten skalierten Projektionsfläche verbindet.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei jeder Auffüllbereich nur an einer Mitte des projektionsbasierten Rahmens angeordnet ist.
Videoverarbeitungsverfahren gemäß Anspruch 5, wobei die skalierten Projektionsflächen eine erste skalierte Projektionsfläche und eine zweite skalierte Projektionsfläche aufweisen; es eine Bildinhaltsdiskontinuitätskante zwischen einer Seite der ersten skalierten Projektionsfläche und einer Seite der zweiten skalierten Projektionsfläche gibt, wenn die eine Seite der ersten skalierten Projektionsfläche die eine Seite der skalierten zweiten Projektionsfläche berührt; der mindestens eine Auffüllbereich einen ersten Auffüllbereich aufweist; und der erste Auffüllbereich zum Isolieren der einen Seite der ersten skalierten Projektionsfläche von der einen Seite der zweiten skalierten Projektionsfläche in der Projektionsanordnung die eine Seite der ersten skalierten Projektionsfläche und die eine Seite der zweiten skalierten Projektionsfläche verbindet.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die skalierten Projektionsflächen eine ersten skalierte Projektionsfläche und eine zweite skalierte Projektionsfläche aufweisen, welche unterschiedliche Größen aufweisen.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei alle der skalierten Projektionsflächen eine gleiche Größe aufweisen.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die skalierten Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste skalierte Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, welcher mindestens die erste skalierte Projektionsfläche berührt; und das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden eines Geometrie-Auffüllens auf die erste Projektionsfläche, um Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die skalierten Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste skalierte Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, welcher mindestens die erste skalierte Projektionsfläche berührt; und das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten spezifischer Pixel, die in der ersten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die skalierten Projektionsflächen, die in der Projektionsanordnung gepackt sind, eine erste skalierte Projektionsfläche und eine zweite skalierte Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Projektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist, welcher mindestens die erste skalierte Projektionsfläche berührt; und das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten spezifischer Pixel, die in der zweiten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Skalieren der quadratischen Projektionsflächen, um die skalierten Projektionsflächen zu generieren, umfasst: für jede skalierte Projektionsfläche, die in einer ersten Gruppe von skalierten Projektionsflächen enthalten ist, Anwenden eines Skalierens nur auf eine einer Höhenrichtung und einer Breitenrichtung der skalierten Projektionsfläche gemäß einem ersten Skalierungsfaktor; und für jede skalierte Projektionsfläche, die in einer zweiten Gruppe von skalierten Projektionsflächen enthalten ist, Anwenden eines Skalierens auf eine einer Höhenrichtung und einer Breitenrichtung der skalierten Projektionsfläche gemäß dem ersten Skalierungsfaktor und Anwenden eines Skalierens auf eine andere der Höhenrichtung und der Breitenrichtung der skalierten Projektionsfläche gemäß einem zweiten Skalierungsfaktor, welcher zu dem ersten Skalierungsfaktor verschieden ist.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Skalieren der quadratischen Projektionsflächen, um die skalierten Projektionsflächen zu generieren, umfasst: für jede skalierte Projektionsfläche, die in den skalierten Projektionsflächen enthalten ist, Anwenden eines Skalierens auf nur eine einer Höhenrichtung und einer Breitenrichtung der skalierten Projektionsfläche gemäß einem Skalierungsfaktor.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Skalieren der quadratischen Projektionsflächen, um die skalierten Projektionsflächen zu generieren, umfasst: für jede skalierte Projektionsfläche, die in den skalierten Projektionsflächen enthalten ist, Anwenden eines Skalierens auf beide einer Höhenrichtung und einer Breitenrichtung der skalierten Projektionsfläche gemäß einem gleichen Skalierungsfaktor.
Videoverarbeitungsverfahren gemäß Anspruch 1, weiter umfassend: Hinzufügen eines Kennzeichens zu dem Bitstrom, wobei das Kennzeichen eine Auffüllanordnung des mindestens einen Auffüllbereichs anzeigt, der in der Projektionsanordnung gepackt ist.
Videoverarbeitungsverfahren gemäß Anspruch 1, weiter umfassend: Hinzufügen eines Kennzeichens zu dem Bitstrom, wobei das Kennzeichen anzeigt, ob Projektionsflächen, die in der Projektionsanordnung gepackt sind, skaliert sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, weiter umfassend: Hinzufügen eines Kennzeichens zu dem Bitstrom, wobei das Kennzeichen eine Auffüllgröße des mindestens einen Auffüllbereichs anzeigt, der in der Projektionsanordnung gepackt ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Teils eines Bitstroms; und Decodieren des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen mit einer Mehrzahl von Projektionsflächen und mindestens einem Auffüllbereich zu generieren, die in einer Projektionsanordnung einer würfelbasierten Projektion gepackt sind, umfassend: Rekonstruieren eines ersten Pixels durch ein Mischen eines decodierten Pixelwerts, der für das erste Pixel erhalten wird, und eines decodierten Pixelwerts, der für ein zweites Pixel erhalten wird, um einen aktualisierten Pixelwert des ersten Pixels zu generieren, umfassend: Anwenden eines ersten Gewichtungsfaktors auf den decodierten Pixelwert, der für das erste Pixel erhalten wird, durch eine Mischschaltung; und Anwenden eines zweiten Gewichtungsfaktors auf den decodierten Pixelwert, der für das zweite Pixel erhalten wird, durch die Mischschaltung; wobei eins des ersten Pixels und des zweiten Pixels in einer der Projektionsflächen enthalten ist, ein anderes des ersten Pixels und des zweiten Pixels in dem mindestens einen Auffüllbereich enthalten ist, und Festlegungen des ersten Gewichtungsfaktors und des zweiten Gewichtungsfaktors unabhängig von einer Auffüllgröße des mindestens einen Auffüllbereichs sind.
Videoverarbeitungsverfahren gemäß Anspruch 18, wobei der aktualisierte Pixelwert des ersten Pixels unter Verwendung einer nachfolgenden Formel berechnet wird: $A_{u p d a t e} = \frac{A \cdot d + A' \cdot (D - d)}{D},$
wobei A_update den aktualisierten Pixelwert des ersten Pixels repräsentiert, A den decodierten Pixelwert repräsentiert, der für das erste Pixel erhalten wird, A' den decodierten Pixelwert repräsentiert, der für das zweite Pixel erhalten wird, D eine Breite von zu mischenden Pixeln repräsentiert, und d einen Abstand von dem ersten Pixel zu einer Auffüllgrenze repräsentiert.
Videoverarbeitungsverfahren gemäß Anspruch 18, wobei das Mischen des decodierten Pixelwerts, der für das erste Pixel erhalten wird, und des decodierten Pixelwerts, der für das zweite Pixel erhalten wird, weiter umfasst: Ausführen eines Mischverfahrens, umfassend: Vergleichen eines Abstands zwischen einer Bildinhaltsdiskontinuitätskante und dem zweiten Pixel mit einem vorbestimmten Schwellenwert; und Mischen des decodierten Pixelwerts, der für das erste Pixel erhalten wird, und des decodierten Pixelwerts, der für das zweite Pixel erhalten wird, unter einer Bedingung, dass der Abstand den vorbestimmten Schwellenwert überschreitet.
Videoverarbeitungsverfahren gemäß Anspruch 20, weiter umfassend: Ableiten eines Kennzeichens von dem Bitstrom, wobei das Kennzeichen anzeigt, ob das Mischverfahren aktiviert ist.
Videoverarbeitungsverfahren gemäß Anspruch 18, weiter umfassend: Ableiten eines Kennzeichens von dem Bitstrom, wobei das Kennzeichen ein Mischverfahren anzeigt, und der aktualisierte Pixelwert des ersten Pixels unter Verwendung des Mischverfahrens, das durch das Kennzeichen angezeigt wird, berechnet wird.