DE112019004696T5

DE112019004696T5 - Verfahren zum Verarbeiten eines projektionsbasierten Rahmens

Info

Publication number: DE112019004696T5
Application number: DE112019004696.9T
Authority: DE
Inventors: Cheng-Hsuan SHIH; Ya-Hsuan Lee; Jian-Liang Lin
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2019-01-02
Filing date: 2019-12-31
Publication date: 2021-06-10
Also published as: CN112868237A; KR20210070299A; TW202029741A; WO2020140892A1; KR102453512B1; CN112868237B; TWI728633B; US20200213570A1

Abstract

Ein Videoverarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Erhalten von Chrominanz-Sampling-Positionsinformationen, welche über den Bitstrom signalisiert werden; und Ausführen eines Mischprozesses zum Generieren eines gemischten Chrominanz-Sample-Werts an einer Ziel-Chrominanz-Sample-Position durch ein Mischen eines ersten Chrominanz-Sample-Werts, der für eine erste Chrominanz-Sample-Position in der mindestens einen Projektionsfläche erhalten wird, und eines zweiten Chrominanz-Sample-Werts, der für eine zweite Chrominanz-Sample-Position in dem mindestens einen Auffüllbereich erhalten wird. Mindestens eine der Ziel-Chrominanz-Sample-Position, der ersten Chrominanz-Sample-Position und der zweiten Chrominanz-Sample-Position wird gemäß den Chrominanz-Sampling-Positionsinformationen bestimmt.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung beansprucht den Nutzen der vorläufigen U.S.-Anmeldung Nr. 62/787,449 , eingereicht am 02.01.2019 und hier durch Bezugnahme eingeschlossen.
Hintergrund
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten eines Rundum-Bild-/ Videoinhalts, und insbesondere auf ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche und mindestens einen Auffüllbereich aufweist, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gepackt sind.
Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) ist mit einer Vielfalt von Anwendungen verknüpft. Die Befähigung, einem Anwender einen weiten Blickfeldinhalt zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen zu bieten. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bild-/Videoinhalt führt, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren solch eines 360-Grad-Bild-/Videoinhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Datenkomprimierung/-codierung entscheidend für eine Bitratenreduktion
Allgemein wird der Rundum-Bild-/Videoinhalt, der zu der Kugel korrespondiert, in eine Sequenz von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild-/Videoinhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Sequenz der projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Der projektionsbasierte Rahmen kann eine Bildinhaltsdiskontinuität an Anordnungsrändern und/oder Flächenkanten aufweisen. Als eine Folge kann die Bildqualität um Anordnungsränder und/oder Flächenkanten herum nach einer Komprimierung schlecht sein. Weiter können Artefakte durch eine Projektionsanordnungskonvertierung eines rekonstruierten projektionsbasierten Rahmens eingeführt werden, was somit zu einer Bildqualitätsverschlechterung eines konvertierten Rahmens führt.
Zusammenfassung
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren zum Verarbeiten eines projektionsbasierten Rahmens bereitzustellen, welcher mindestens eine Projektionsfläche und mindestens einen Auffüllbereich aufweist, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung gepackt sind.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Erhalten von Chrominanz-Sampling-Positionsinformationen, welche über den Bitstrom signalisiert werden; und Ausführen eines Mischprozesses zum Generieren eines gemischten Chrominanz-Sample-Werts an einer Ziel-Chrominanz-Sample-Position durch ein Mischen eines ersten Chrominanz-Sample-Werts, der für eine erste Chrominanz-Sample-Position in der mindestens einen Projektionsfläche des rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Chrominanz-Sample-Werts, der für eine zweite Chrominanz-Sample-Position in dem mindestens einen Auffüllbereich des rekonstruierten projektionsbasierten Rahmens erhalten wird, wobei mindestens eine der Ziel-Chrominanz-Sample-Position, der ersten Chrominanz-Sample-Position und der zweiten Chrominanz-Sample-Position gemäß den Chrominanz-Sampling-Positionsinformationen bestimmt wird.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Bitstroms; Decodieren eines Teils des Bitstroms, um einen ersten rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Ausführen eines Mischprozesses auf den ersten rekonstruierten projektionsbasierten Rahmen, umfassend: Generieren eines gemischten Pixelwerts durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in der mindestens einen Projektionsfläche des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in dem mindestens einen Auffüllbereich des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird; und Decodieren eines anderen Teils des Bitstroms, um einen zweiten rekonstruierten projektionsbasierten Rahmen zu generieren, wobei der gemischte Pixelwert von einer Inter-Prädiktion verwendet wird, die in die Generierung des zweiten rekonstruierten projektionsbasierten Rahmen involviert ist.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Bitstroms; Decodieren eines Teils des Bitstroms, um einen ersten rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Ausführen eines Mischprozesses auf den ersten rekonstruierten projektionsbasierten Rahmen, umfassend: Generieren eines gemischten Pixelwerts durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in der mindestens einen Projektionsfläche des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in dem mindestens einen Auffüllbereich des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird; und Decodieren eines anderen Teils des Bitstroms, um einen zweiten rekonstruierten projektionsbasierten Rahmen zu generieren, wobei der erste rekonstruierte projektionsbasierte Rahmen als ein Referenzrahmen dient, der von einer Inter-Prädiktion verwendet wird, und der gemischte Pixelwert nicht von einer Inter-Prädiktion verwendet wird, die in die Generierung des zweiten rekonstruierten projektionsbasierten Rahmen involviert ist.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; hinsichtlich eines Zielpixels, Finden einer Mehrzahl von korrespondierenden Pixeln in dem rekonstruierten projektionsbasierten Rahmen, wobei das Zielpixel und die korrespondierenden Pixel auf einen gleichen Punkt auf einer Kugel abgebildet werden, die korrespondierenden Pixel ein erstes Pixel und ein zweites Pixel aufweisen, sich das erste Pixel innerhalb der mindestens einen Projektionsfläche des rekonstruierten projektionsbasierten Rahmens befindet, und sich das zweite Pixel innerhalb des mindestens einen Auffüllbereichs des rekonstruierten projektionsbasierten Rahmens befindet; Generieren eines gemischten Pixelwerts durch ein Mischen von Pixelwerten der korrespondierenden Pixel; und Festlegen eines Pixelwerts des Zielpixels durch den gemischten Pixelwert.
Diese und andere Aufgaben der vorliegenden Erfindung werden ohne Zweifel für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach dem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform, welche in den verschiedenen Figuren und Zeichnungen illustriert ist, offenbar.
Figurenliste

1 ist ein Diagramm, das ein erstes 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das sechs quadratische Projektionsflächen einer Würfelabbildungsprojektionsanordnung darstellt, die von einer Würfelabbildungsprojektion einer Kugel erhalten wird.
3 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
5 ist ein Diagramm, das andere Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
6 ist ein Diagramm, das ein Beispiel einer Abbildung von einem Pixel in einer Projektionsfläche auf sein korrespondierendes Auffüllpixel in einem Auffüllbereich darstellt.
7 ist ein Diagramm, das ein Beispiel einer Abbildung von einem Auffüllpixel in einem Auffüllbereich auf sein korrespondierendes Pixel in einer Projektionsfläche darstellt.
8 ist ein Diagramm, das eine Videodecodierungsschaltung mit In-Loop-Mischung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
9 ist ein Diagramm, das eine Videodecodierungsschaltung mit Out-Loop-Mischung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
10 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
11 ist ein Diagramm, das ein Beispiel eines Mischens mehrerer korrespondierender Pixel in einem gleichen Quellenrahmen, um ein Zielpixel herzuleiten, darstellt.
12 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
13 ist ein Diagramm, das ein 4:2:0 Chrominanz-Format und vier Chrominanz-Sample-Positionstypen darstellt.
14 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Chrominanz-Sample in einer Projektionsfläche auf sein korrespondierendes Chrominanz-Sample in einem Auffüllbereich darstellt.
15 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Chrominanz-Sample in einem Auffüllbereich auf sein korrespondierendes Chrominanz-Sample in einer Projektionsfläche darstellt.
16 ist ein Diagramm, das ein Beispiel eines Mischens mehrerer korrespondierender Chrominanz-Samples in einem gleichen Quellenrahmen, um ein Ziel-Chrominanz-Sample herzuleiten, das von einem Wiedergabeprozess oder einem Projektionsformatkonvertierungsprozess angefordert wird, darstellt.
17 ist ein Diagramm, das ein Beispiel eines Festlegens einer Chrominanz-Sampling-Position in einem Mischprozess durch eine Chrominanz-Sampling-Position in einem Chrominanz-Formatkonvertierungsprozess darstellt.
18 ist ein Diagramm, das ein Beispiel eines Festlegens einer Chrominanz-Sampling-Position in einem Mischprozess durch eine Chrominanz-Sampling-Position in einem Projektionsformatkonvertierungsprozess darstellt.

Detaillierte Beschreibung
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden innerhalb der nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Elektronikausrüstungshersteller mit unterschiedlichen Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, welche sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet, und sollten somit so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf...“ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
1 ist ein Diagramm, das ein erstes 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Videoverarbeitungsvorrichtungen (z.B. eine Quellenelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellenelektronikvorrichtung 102 weist eine Videoaufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und eine Videocodierungsschaltung 116 auf. Zum Beispiel kann die Videoaufnahmevorrichtung 112 ein Satz von Kameras sein, die verwendet werden, um einen Rundum-Bild-/Videoinhalt (z.B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Videoaufnahmevorrichtung 112 und der Videocodierungsschaltung 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung L_VR gemäß dem Rundum-Bild-/ Videoinhalt S_IN. Zum Beispiel kann der projektionsbasierte Rahmen IMG ein Rahmen sein, der in einer Sequenz von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden.
In einigen Ausführungsformen der vorliegenden Erfindung kann die Konvertierungsschaltung 114 eine Chrominanz-Formatkonvertierung und eine Projektionsformatkonvertierung unterstützen. Zum Beispiel kann der Rundum-Bild-/ Videoinhalt S_IN in einer Quellenprojektionsanordnung angeordnet sein, wie eine Äquirektangulärprojektions- (ERP-) Anordnung, und die Konvertierungsschaltung 114 kann eine Projektionsformatkonvertierung auf den Rundum-Bild-/Videoinhalt S_IN ausführen, um den projektionsbasierten Rahmen IMG mit der Ziel-360-VR-Projektionsanordnung L_VR zu generieren. Als ein anderes Beispiel kann jedes Pixel des Rundum-Bild-/Videoinhalts S_IN Chrominanz-Samples mit einem ersten Chrominanz-Format (z.B. 4:4:4) aufweisen, und die Konvertierungsschaltung 114 kann eine Chrominanz-Formatkonvertierung auf den Rundum-Bild-/Videoinhalt S_IN ausführen, sodass jedes Pixel eines Rundum-Bild-/Videoinhalts, das durch eine Projektionsformatkonvertierung zu verarbeiten ist, Chrominanz-Samples mit einem zweiten Chrominanz-Format (z.B. 4:2:0 oder 4:2:2) aufweisen kann.
Die Videocodierungsschaltung 116 ist auf der Basis einer Videocodiererarchitektur aufgebaut und wird verwendet, um den projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt die Videocodierungsschaltung 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Sequenz von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
Die Zielelektronikvorrichtung 104 kann eine am Kopf befestigte Anzeige- (HMD-) Vorrichtung sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 eine Videodecodierungsschaltung 122, eine Graphikwiedergabeschaltung 124 und einen Anzeigeschirm 126 auf. Die Videodecodierungsschaltung 122 ist auf der Basis einer Videodecodiererarchitektur aufgebaut. Daher empfängt die Videodecodierungsschaltung 122 den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Videodecodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um einen rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' zu generieren. Zum Beispiel generiert die Videodecodierungsschaltung 122 eine Sequenz von rekonstruierten Rahmen durch ein Decodieren unterschiedlicher Teile des empfangenen Bitstroms BS, wobei der rekonstruierte projektionsbasierte Rahmen IMG' ein Rahmen ist, der in der Sequenz von rekonstruierten projektionsbasierten Rahmen enthalten ist. In dieser Ausführungsform weist der projektionsbasierte Rahmen IMG, der durch die Videocodierungsschaltung 116 auf der Codiererseite zu codieren ist, ein 360-VR-Projektionsformat mit einer Projektionsanordnung auf. Daher ist, nachdem der Bitstrom BS durch die Decodierungsschaltung 122 auf der Decodiererseite decodiert ist, der rekonstruierte projektionsbasierte Rahmen IMG' ein rekonstruierter Rahmen, der das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung aufweist. Die Graphikwiedergabeschaltung 124 ist zwischen der Videodecodierungsschaltung 122 und dem Anzeigeschirm 126 angeschlossen. Die Graphikwiedergabeschaltung 124 gibt Ausgabebilddaten gemäß dem rekonstruierten projektionsbasierten Rahmen IMG' wieder und stellt sie auf dem Anzeigeschirm 126 dar. Zum Beispiel kann ein Viewport-Bereich, der mit einem Teil des 360-Grad-Bild-/Videoinhalts verknüpft ist, der durch den rekonstruierten projektionsbasierten Rahmen IMG' übertragen wird, über die Graphikwiedergabeschaltung 124 auf dem Anzeigeschirm 126 dargestellt werden.
Wie vorstehend erwähnt, generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG gemäß der 360-VR-Projektionsanordnung L_VR und dem Rundum-Bild-/Videoinhalt S_IN. Wenn die 360-VR-Projektionsanordnung L_VR eine kompakte Projektionsanordnung ohne Auffüllung ist, ist es möglich, dass ein Packen der Projektionsflächen zu Bildinhaltsdiskontinuitätskanten zwischen benachbarten Projektionsflächen führen kann.
Es sei ein Fall angenommen, in welchem die 360-VR-Projektionsanordnung L_VR durch eine Würfelabbildungsprojektions- (CMP-) Anordnung ohne Auffüllung festgelegt ist. Daher erhält die Konvertierungsschaltung 114 quadratische Projektionsflächen von dem Rundum-Bild-/Videoinhalt S_IN einer Kugel. Das heißt, der Rundum-Bild-/Videoinhalt der Kugel wird über eine Würfelabbildungsprojektion auf die quadratischen Projektionsflächen abgebildet. 2 ist ein Diagramm, das sechs quadratische Projektionsflächen einer CMP-Anordnung darstellt, die von einer Würfelabbildungsprojektion einer Kugel erhalten wird. Ein Rundum-Bild-/Videoinhalt einer Kugel 202 wird auf sechs quadratische Projektionsflächen (gekennzeichnet durch „L“, „F“, „R“, „BK“, „T“ und „B“) eines Würfels 204 abgebildet. Die quadratische Projektionsfläche „L“ bedeutet eine linke Fläche des Würfels 204. Die quadratische Projektionsfläche „F“ bedeutet eine vordere Fläche des Würfels 204. Die quadratische Projektionsfläche „R“ bedeutet eine rechte Fläche des Würfels 204. Die quadratische Projektionsfläche „BK“ bedeutet eine rückseitige Fläche des Würfels 204. Die quadratische Projektionsfläche „T“ bedeutet eine obere Fläche des Würfels 204. Die quadratische Projektionsfläche „B“ bedeutet eine untere Fläche des Würfels 204. Wie in 2 gezeigt, sind die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ in einer CMP-Anordnung 206 angeordnet, die zu einem entfalteten Würfel korrespondiert. Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die CMP-Anordnung 206 direkt zum Erzeugen des projektionsbasierten Rahmens IMG verwendet wird, muss der projektionsbasierte Rahmen IMG mit Leerbereichen (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) aufgefüllt werden, um einen rechteckigen Rahmen zum Codieren zu bilden. Daher können die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ in einer anderen CMP-Anordnung ohne Auffüllung, wie eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung gepackt werden. Auf diese Weise kann die Codierungseffizienz verbessert werden. Wenn die quadratischen Projektionsflächen „L“, „F“, „R“, „BK“, „T“ und „B“ jedoch in einer kompakten CMP-Anordnung ohne Auffüllung gepackt werden, führt das Packen der Projektionsflächen unvermeidlich zu Bildinhaltsdiskontinuitätskanten zwischen benachbarten Projektionsflächen. Daher kann, wenn die 360-VR-Projektionsanordnung L_VR durch die kompakte CMP-Anordnung ohne Auffüllen festgelegt ist, die Bildqualität nah den Bildinhaltsdiskontinuitätskanten zwischen Projektionsflächen nach einer Kompression schlecht sein, und die Bildqualität nah den Anordnungsrändern (welche auch als Bildinhaltsdiskontinuitätskanten betrachtet werden können) kann nach einer Kompression schlecht sein. Insbesondere kann, wenn quadratische Projektionsflächen in einer CMP-Anordnung ohne Auffüllung gepackt werden, wie eine 1x6-Würfelanordnung, eine 6x1-Würfelanordnung, eine 3x2-Würfelanordnung oder eine 2x3-Würfelanordnung, der projektionsbasierte Rahmen IMG nach einem Codieren aufgrund diskontinuierlicher Anordnungsränder der CMP-Anordnung und/oder diskontinuierlicher Kanten der CMP-Anordnung Artefakte aufweisen. Zum Beispiel weist die CMP-Anordnung ohne Auffüllung einen oberen diskontinuierlichen Rand, einen unteren diskontinuierlichen Rand, einen linken diskontinuierlichen Rand und einen rechten diskontinuierlichen Rand auf. Zusätzlich gibt es mindestens eine Bildinhaltsdiskontinuitätskante zwischen zwei benachbarten quadratischen Projektionsflächen, die in der CMP-Anordnung ohne Auffüllung gepackt sind.
Um das vorstehende Problem zu adressieren, ist die Konvertierungsschaltung 114 mit einer Auffüllschaltung 115 zum Generieren eines Auffüllbereichs (von Auffüllbereichen) ausgestattet und ist eingerichtet, die 360-VR-Projektionsanordnung L_VR einzusetzen, welche durch eine Projektionsanordnung mit einer Auffüllung festgelegt ist. Um Anordnungsränder und/oder Diskontinuitätskanten herum können zusätzliche Auffüllbereiche, die durch eine Pixelauffüllung generiert werden, zum Reduzieren von Nahtartefakten eingefügt werden.
Zum Beispiel kann eine Pixelauffüllung nur an diskontinuierlichen Kanten hinzugefügt werden. 3 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 3 stellt eine 3x2-Würfelanordnung mit einer Kantenauffüllung 302 dar. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „L“ und „T“, wenn die untere Seite der quadratischen Projektionsfläche „L“ mit der oberen Seite der quadratischen Projektionsfläche „T“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung verbunden ist. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „F“ und „BK“, wenn die untere Seite der quadratischen Projektionsfläche „F“ mit der oberen Seite der quadratischen Projektionsfläche „BK“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung verbunden ist. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „R“ und „B“, wenn die untere Seite der quadratischen Projektionsfläche „R“ mit der oberen Seite der quadratischen Projektionsfläche „B“ in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung verbunden ist. Gemäß der 3x2-Würfelprojektionsanordnung mit einer Auffüllung 302 wird ein Auffüllbereich PR_DE1 zwischen den quadratischen Projektionsflächen „L“ und „T“ eingefügt, wird ein Auffüllbereich PR_DE2 zwischen den quadratischen Projektionsflächen „F“ und „BK“ eingefügt und wird ein Auffüllbereich PR_DE3 zwischen den quadratischen Projektionsflächen „R“ und „B“ eingefügt.
Der erste Auffüllbereich PR_DE1 weist Auffüllpixel, die sich von der quadratischen Projektionsfläche „L“ erstrecken, und Auffüllpixel, die sich von der quadratischen Projektionsfläche „T“ erstrecken, auf und isoliert deshalb die untere Seite der quadratischen Projektionsfläche „L“ von der oberen Seite der quadratischen Projektionsfläche „T“ in der Projektionsanordnung 302. Der zweite Auffüllbereich PR_DE2 weist Auffüllpixel, die sich von der quadratischen Projektionsfläche „F“ erstrecken, und Auffüllpixel, die sich von der quadratischen Projektionsfläche „BK“ erstrecken, auf und isoliert deshalb die untere Seite der quadratischen Projektionsfläche „F“ von der oberen Seite der quadratischen Projektionsfläche „BK“ in der Projektionsanordnung 302. Der dritte Auffüllbereich PR_DE3 weist Auffüllpixel, die sich von der quadratischen Projektionsfläche „R“ erstrecken, und Auffüllpixel, die sich von der quadratischen Projektionsfläche „B“ erstrecken, auf und isoliert deshalb die untere Seite der quadratischen Projektionsfläche „R“ von der oberen Seite der quadratischen Projektionsfläche „B“ in der Projektionsanordnung 302. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite jedes Auffüllbereichs PR_DE1/PR_DE2/PR_DE3 gleich 2×S_GB.
Das Unterdiagramm (B) von 3 stellt eine 6x1-Würfelanordnung mit einer Kantenauffüllung 304 dar. Eine Bildinhaltsdiskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „R“ und „T“, wenn die rechte Seite der quadratischen Projektionsfläche „R“ mit der linken Seite der quadratischen Projektionsfläche „T“ in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung verbunden ist. Gemäß der 6x1-Würfelprojektionsanordnung mit einer Auffüllung 304 wird ein Auffüllbereich PR_DE zwischen den quadratischen Projektionsflächen „R“ und „T“ eingefügt. Der Auffüllbereich PR_DE weist Auffüllpixel, die sich von der quadratischen Projektionsfläche „R“ erstrecken, und Auffüllpixel, die sich von der quadratischen Projektionsfläche „T“ erstrecken, auf und isoliert deshalb die rechte Seite der quadratischen Projektionsfläche „R“ von der linken Seite der quadratischen Projektionsfläche „T“ in der Projektionsanordnung 304. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite des Auffüllbereichs PR_DE gleich 2×S_GB.
Als ein anderes Beispiel kann eine Auffüllung an Anordnungsrändern und diskontinuierlichen Kanten hinzugefügt werden. 4 ist ein Diagramm, das Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 4 stellt eine 3x2-Würfelanorndung mit einer Randauffüllung und einer Kantenauffüllung 402 dar. Wenn die quadratischen Projektionsflächen in einer typischen 3x2-Würfelprojektionsanordnung ohne Auffüllung gepackt sind, bilden obere Seiten der quadratischen Projektionsflächen „L“, „F“ und „R“ einen oberen diskontinuierlichen Rand, bilden untere Seiten der quadratischen Projektionsflächen „T“, „BK“ und „B“ einen unteren diskontinuierlichen Rand, bilden linke Seiten der quadratischen Projektionsflächen „L“ und „T“ einen linken diskontinuierlichen Rand und bilden rechte Seiten der quadratischen Projektionsflächen „R“ und „B“ einen rechten diskontinuierlichen Rand. Die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402 kann von einem Hinzufügen einer Randauffüllung zu der 3x2-Würfelanordnung mit einer Kantenauffüllung 302 hergeleitet werden. Daher weist die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402 zusätzlich zu den Auffüllbereichen PR_DE1, PR_DE2, PR_DE3 an diskontinuierlichen Kanten weiter einen oberen Auffüllbereich PR_T, welcher mit oberen Seiten der quadratischen Projektionsflächen „L“, „F“ und „R“ verbunden ist, einen unteren Auffüllbereich PR_B, welcher mit unteren Seiten der quadratischen Projektionsflächen „T“, „BK“ und „B“ verbunden ist, einen linken Auffüllbereich PR_L, welcher mit linken Seiten der quadratischen Projektionsflächen „L“ und „T“ verbunden ist, und einen rechten Auffüllbereich PR_R, welcher mit rechten Seiten der quadratischen Projektionsflächen „R“ und „B“ verbunden ist, auf.
Der obere Auffüllbereich PR_T weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „L“, „F“ und „R“ erstrecken. Der untere Auffüllbereich PR_B weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „T“, „BK“ und „B“ erstrecken. Der linke Auffüllbereich PR_L weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „L“ und „T“ erstrecken. Der rechte Auffüllbereich PR_R weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „R“ und „B“ erstrecken. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite jedes Randauffüllbereichs PR_T/PR_B/PR_L/PR_R gleich S_GB .
Das Unterdiagramm (B) von 4 stellt eine 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 404 dar. Wenn die quadratischen Projektionsflächen in einer typischen 6x1-Würfelprojektionsanordnung ohne Auffüllung gepackt sind, bilden obere Seiten der quadratischen Projektionsflächen „L“, „F“, „R“, „T“ „BK“ und „B“ einen oberen diskontinuierlichen Rand, bilden untere Seiten der quadratischen Projektionsflächen „L“, „F“, „R“, „T“ „BK“ und „B“ einen unteren diskontinuierlichen Rand, bildet eine linke Seite der quadratischen Projektionsfläche „L“ einen linken diskontinuierlichen Rand und bildet eine rechte Seite der quadratischen Projektionsfläche „B“ einen rechten diskontinuierlichen Rand. Die 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 404 kann von einem Hinzufügen einer Randauffüllung zu der 6x1-Würfelanordnung mit einer Kantenauffüllung 304 hergeleitet werden. Daher weist die 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 404 zusätzlich zu dem Auffüllbereich PR_DE an der diskontinuierlichen Kante weiter einen oberen Auffüllbereich PR_T, welcher mit oberen Seiten der quadratischen Projektionsflächen „L“, „F“, „R“, „T“, „BK“ und „B“ verbunden ist, einen unteren Auffüllbereich PR_B, welcher mit unteren Seiten der quadratischen Projektionsflächen „L“, „F“, „R“, „T“, „BK“ und „B“ verbunden ist, einen linken Auffüllbereich PR_L, welcher mit der linken Seite der quadratischen Projektionsfläche „L“ verbunden ist, und einen rechten Auffüllbereich PR_R, welcher mit der rechten Seite der quadratischen Projektionsfläche „B“ verbunden ist, auf.
Der obere Auffüllbereich PR_T weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „L“, „F“, „R“, „T“, „BK“ und „B“ erstrecken. Der untere Auffüllbereich PR_B weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „L“, „F“, „R“, „T“, „BK“ und „B“ erstrecken. Der linke Auffüllbereich PR_L weist Auffüllpixel auf, die sich von der quadratischen Projektionsfläche „L“ erstrecken. Der rechte Auffüllbereich PR_R weist Auffüllpixel auf, die sich von der quadratischen Projektionsfläche „B“ erstrecken. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite jedes Randauffüllbereichs PR_T/PR_B/PR_L/PR_R gleich S_GB .
Als noch ein anderes Beispiel kann eine Auffüllung an Anordnungsrändern, diskontinuierlichen Kanten und kontinuierlichen Kanten hinzugefügt werden. 5 ist ein Diagramm, das andere Würfelabbildungsprojektionsanordnungen mit einer Randauffüllung und einer Kantenauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unterdiagramm (A) von 5 stellt eine andere 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 502 dar. Eine Bildinhaltskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „L“ und „F“, wenn die rechte Seite der quadratischen Projektionsfläche „L“ mit der linken Seite der quadratischen Projektionsfläche „F“ in einer typischen 3x2-Würfelprojektionanordnung ohne Auffüllung verbunden ist. Eine Bildinhaltskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „F“ und „R“, wenn die rechte Seite der quadratischen Projektionsfläche „F“ mit der linken Seite der quadratischen Projektionsfläche „R“ in einer typischen 3x2-Würfelprojektionanordnung ohne Auffüllung verbunden ist. Eine Bildinhaltskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „T“ und „BK“, wenn die rechte Seite der quadratischen Projektionsfläche „T“ mit der linken Seite der quadratischen Projektionsfläche „BK“ in einer typischen 3x2-Würfelprojektionanordnung ohne Auffüllung verbunden ist. Eine Bildinhaltskontinuitätskante existiert zwischen den quadratischen Projektionsflächen „BK“ und „B“, wenn die rechte Seite der quadratischen Projektionsfläche „BK“ mit der linken Seite der quadratischen Projektionsfläche „B“ in einer typischen 3x2-Würfelprojektionanordnung ohne Auffüllung verbunden ist.
Die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 502 kann von einem Hinzufügen von weiterer Auffüllung zu der 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402 hergeleitet werden. Daher weist die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 502 zusätzlich zu den Auffüllbereichen PR_DE1, PR_DE2, PR_DE3 an diskontinuierlichen Kanten und Auffüllbereichen PR_T, PR_B, PR_L, PR_R an diskontinuierlichen Rändern weiter einen Auffüllbereich PR_CE1, welcher mit der rechten Seite der quadratischen Projektionsfläche „L“ und der linken Seite der quadratischen Projektionsfläche „F“ verbunden ist, einen Auffüllbereich PR_CE2, welcher mit der rechten Seite der quadratischen Projektionsfläche „F“ und der linken Seite der quadratischen Projektionsfläche „R“ verbunden ist, einen Auffüllbereich PR_CE3, welcher mit der rechten Seite der quadratischen Projektionsfläche „T“ und der linken Seite der quadratischen Projektionsfläche „BK“ verbunden ist, und einen Auffüllbereich PR_CE4, welcher mit der rechten Seite der quadratischen Projektionsfläche „BK“ und der linken Seite der quadratischen Projektionsfläche „B“ verbunden ist, auf.
Der Auffüllbereich PR_CE1 weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „L“ und „F“ erstrecken, und isoliert deshalb die rechte Seite der quadratischen Projektionsfläche „L“ von der linken Seite der quadratischen Projektionsfläche „F“ in der Projektionsanordnung 502. Der Auffüllbereich PR_CE2 weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „F“ und „R“ erstrecken, und isoliert deshalb die rechte Seite der quadratischen Projektionsfläche „F“ von der linken Seite der quadratischen Projektionsfläche „R“ in der Projektionsanordnung 502. Der Auffüllbereich PR_CE3 weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „T“ und „BK“ erstrecken, und isoliert deshalb die rechte Seite der quadratischen Projektionsfläche „T“ von der linken Seite der quadratischen Projektionsfläche „BK“ in der Projektionsanordnung 502. Der Auffüllbereich PR_CE4 weist Auffüllpixel auf, die sich von den quadratischen Projektionsflächen „BK“ und „B“ erstrecken, und isoliert deshalb die rechte Seite der quadratischen Projektionsfläche „BK“ von der linken Seite der quadratischen Projektionsfläche „B“ in der Projektionsanordnung 502. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite jedes Auffüllbereichs PR_CE1/PR_CE2/PR_CE3/PR_CE4 gleich 2×S_GB.
Das Unterdiagramm (B) von 5 stellt eine andere vorgeschlagene 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 504 dar. Die 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 504 kann von einem Hinzufügen von weiterer Auffüllung zu der 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 404 hergeleitet werden. Daher weist die 6x1-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 504 zusätzlich zu dem Auffüllbereich PR_DE an der diskontinuierlichen Kante und den Auffüllbereichen PR_T, PR_B, PR_L, PR_R an den diskontinuierlichen Rändern weiter vier Auffüllbereiche PR_CE1, PR_CE2, PR_CE3 und PR_CE4 auf. Die Pixelauffüllgröße für eine quadratische Projektionsfläche ist S_GB . Daher ist die Breite jedes Auffüllbereichs PR_CE1/PR_CE2/PR_CE3/PR_CE4 gleich 2*S_GB.
Es sollte beachtet werden, dass die vorstehend genannten CMP-Anordnungen mit einer Auffüllung nur darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. Das gleiche Auffüllungskonzept kann auf andere Projektionsanordnungen angewendet werden. Das heißt, eine 360-VR-Projektionsanordunung mit einer Auffüllung kann durch ein Hinzufügen eines Auffüllbereichs (von Auffüllbereichen) zu einer Anordnung eines anderen Projektionsformats, wie eine Äquirektangulärprojektions- (ERP-) Anordnung, eine Pyramidenprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramide- (TSP-) Projektionsanordnung, eine Segmentierte-Kugelprojektions- (SSP-) Anordnung, eine Tetraederprojektionsanordnung, eine Tetragon-Quartzbasierte-Projektionsanordnung, eine Ikosaeder-Projektionsanordnung oder eine Hexagon-Quartzbasierte-Projektionsanordnung, erhalten werden. Einfach gesagt, kann die 360-VR-Projektionsanordnung L_VR durch jegliche Projektionsanordnung mit einer Auffüllung festgelegt werden.
In einer ersten beispielhaften Auffüllungsauslegung wendet die Auffüllschaltung 115 eine Geometrieauffüllung auf eine Projektionsfläche an, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, welcher mit der Projektionsfläche verbunden ist. Der Inhalt eines Bereichs auf einer Kugel wird auf den Auffüllbereich abgebildet, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Projektionsfläche erhalten wird.
In einer zweiten beispielhaften Auffüllungsauslegung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, der mit einer Seite einer Projektionsfläche verbunden ist, durch ein Duplizieren von Pixelwerten von Pixeln, die in einer unterschiedlichen Projektionsfläche enthalten sind, welche nicht mit dem Auffüllbereich verbunden ist, oder durch ein Duplizieren von Pixelwerten von Pixeln, die sich an einer gegenüberliegenden Seite der gleichen Projektionsfläche befinden, fest.
In einer dritten beispielhaften Auffüllungsauslegung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von Kantenpixeln, die in einer Projektionsfläche enthalten sind, welche mit dem Auffüllbereich verbunden ist, fest.
Wie vorstehend erwähnt, empfängt die Videodecodierungsschaltung 122 der Zielelektronikvorrichtung 104 den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Videodecodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um den rekonstruierten projektionsbasierten Rahmen IMG' zu generieren, welcher ein rekonstruierter Rahmen ist, der die gleiche 360-VR-Projektionsanordnung L_VR aufweist, die von der Konvertierungsschaltung 114 der Quellenelektronikvorrichtung 102 eingesetzt wird. In einem Fall, in welchem die 360-VR-Projektionsanordnung L_VR durch eine Projektionsanordnung mit einer Auffüllung (z.B. eine Projektionsanordnung mit einer Randauffüllung, eine Projektionsanordnung mit einer Kantenauffüllung oder eine Projektionsanordnung mit einer Randauffüllung und einer Kantenauffüllung) festgelegt ist, weist der rekonstruierte projektionsbasierte Rahmen IMG' Auffüllbereiche auf, die sich an Anordnungsrändern und/oder Flächenkanten einer Projektionsanordnung befinden. In einer Ausführungsform kann die Videodecodierungsschaltung 122 die Auffüllbereiche wegschneiden, sodass nur die Nicht-Auffüllbereiche (z.B. ein Rundum-Bild-/Videoinhalt, der in einer Projektionsfläche(n) repräsentiert wird, die ursprünglich von einer 360-VR-Projektion erhalten werden) rekonstruiert werden. In einer alternativen Auslegung kann die Videodecodierungsschaltung 122 eine Mischschaltung 123 zum Ausführen eines Mischens aktivieren, welches auf Auffüllpixeln in einem Auffüllbereich und Pixeln in einem Nicht-Auffüllbereich basiert.
Zum Beispiel kann ein Pixelwert eines Pixels in einer Projektionsfläche durch ein Mischen eines Originalpixelwerts des Pixels in der Projektionsfläche mit einem Pixelwert eines korrespondierenden Auffüllpixels in einem Auffüllbereich aktualisiert werden. Wenn eine Geometrieabbildung von der Auffüllschaltung 115 zum Generieren von Auffüllpixeln verwendet wird, ist ein Abbilden von einem Pixel in einer Projektionsfläche auf sein korrespondierendes Auffüllpixel in einem Auffüllbereich erforderlich. 6 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Pixel in einer Projektionsfläche auf sein korrespondierendes Auffüllpixel in einem Auffüllbereich darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist. Ein Pixel A in einer Projektionsfläche wird zuerst auf einen 3D-Punkt C1 auf der Kugel 202 abgebildet. Als Nächstes wird der 3D-Punkt C1 auf der Kugel 202 durch eine würfelbasierte Projektion auf ein Auffüllpixel A' in einem Auffüllbereich abgebildet. Ein Pixelwert des Pixels A und ein Pixelwert des Auffüllpixels A' können zum Beispiel durch eine abstandsbasierte Gewichtungsfunktion gemischt werden, um einen gemischten Pixelwert zu generieren, welcher verwendet wird, um den Originalpixelwert des Pixels A zu aktualisieren.
Wenn ein Auffüllbereich einer Projektionsfläche durch ein Anwenden einer Geometrieauffüllung auf die Projektionsfläche gemäß der vorstehend genannten ersten beispielhaften Auffüllungsauslegung erhalten wird, kann sich das Auffüllpixel A' an einer nichtganzzahligen Position (d.h., (x, y), wobei x keine ganzzahlige Position ist und/oder y keine ganzzahlige Position ist) in dem Auffüllbereich befinden. Insbesondere wird die 2D-Koordinate des Auffüllpixels A' von der 2D-Koordinate des Pixels A aufgrund einer Geometrieabbildung konvertiert. Das heißt, das Pixel A, das sich an einer ganzzahligen Position (d.h., (X, Y), wobei X und Y ganzzahlige Positionen sind) in der Projektionsfläche befindet, kann auf das Auffüllpixel A' abgebildet werden, das sich an einer nichtganzzahligen Position (d.h., (x, y), wobei x keine ganzzahlige Position ist und/oder y keine ganzzahlige Position ist) in dem Auffüllbereich befindet. Da ein Pixelwert des Auffüllpixels A', das sich an einer nichtganzzahligen Position befindet, nicht direkt in dem Auffüllbereich verfügbar ist, kann die Mischschaltung 123 den Pixelwert des Auffüllpixels A', das sich an der nichtganzzahligen Position in dem Auffüllbereich befindet, durch ein Verwenden eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Auffüllpixel, die sich an ganzzahligen Positionen befinden, zu verarbeiten.
Für bestimmte Anwendungen kann eine Konvertierungsschaltung in einer Zielelektronikvorrichtung implementiert sein, um einen rekonstruierten Rahmen mit einer Projektionsanordnung eines ersten 360-VR-Projektionsformats in einen konvertierten Rahmen mit einer Projektionsanordnung eines zweiten 360-VR-Projektionsformats, welches von dem ersten 360-VR-Projektionsformat verschieden ist, zu konvertieren. Zum Beispiel kann der rekonstruierte Rahmen, der von einer Decodierungsschaltung generiert wird, ein projektionsbasierter Rahmen mit Projektionsflächen und Auffüllbereichen, die in einer Würfelabbildungsprojektionsanordnung mit einer Auffüllung gepackt sind, sein und der konvertierte Rahmen, der von der Konvertierungsschaltung generiert wird und von einer nachfolgenden Graphikwiedergabeschaltung verwendet wird, kann ein projektionsbasierter Rahmen mit Projektionsflächen, die in einer typischen Äquirektangulärprojektions- (ERP-) Anordnung ohne Auffüllung gepackt sind, sein. Ein Pixel, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem konvertierten Rahmen befindet, kann auf ein Pixel abgebildet werden, das sich an einer nichtganzzahligen Position (d.h., (x`, y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem rekonstruierten Rahmen befindet. Das heißt, wenn eine Projektionsanordnungskonvertierung ausgeführt wird, kann die Konvertierungsschaltung einen Pixelwert eines Pixels, das sich an einer ganzzahligen Position in dem konvertierten Rahmen befindet, durch einen Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position in dem rekonstruierten Rahmen befindet, festlegen. Da ein Pixelwert eines Pixels, das sich einer nichtganzzahligen Position befindet in dem decodierten Rahmen nicht direkt verfügbar ist, kann die Konvertierungsschaltung den Pixelwert des Pixels, das sich an einer nichtganzzahligen Position in dem rekonstruierten Rahmen befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Pixel zu verarbeiten, die sich an ganzzahligen Positionen in dem rekonstruierten Rahmen befinden. In einem Fall, in welchem das Pixel mit der nichtganzzahligen Position an oder nah bei einer Kante einer Projektionsfläche in dem rekonstruierten Rahmen liegt, können die Pixel, die von dem Interpolationsfilter verwendet werden, mindestens ein von der Projektionsfläche ausgewähltes Pixel und mindestens ein von dem korrespondierenden Auffüllbereich ausgewähltes Pixel umfassen. Wie vorstehend erwähnt, werden Pixelwerte von Pixeln in der Projektionsfläche durch ein Mischen (z.B. eine abstandsbasierte Gewichtung) aktualisiert. Wenn Pixelwerte von Auffüllpixeln in dem korrespondierenden Auffüllbereich jedoch nicht durch ein Mischen (z.B. eine abstandsbasierte Gewichtung) aktualisiert werden, können Artefakte aufgrund einer Interpolation, die auf aktualisierte Pixelwerte von Pixeln in der Projektionsfläche und Originalpixelwerte von Auffüllpixeln in dem korrespondierenden Auffüllbereich ausgeführt wird, eingeführt werden. Um dieses Problem zu adressieren, kann ein Mischen ausgeführt werden, um sowohl Pixelwerte von Pixeln in einer Projektionsfläche als auch Pixelwerte von Auffüllpixeln in einem korrespondierenden Auffüllbereich zu aktualisieren.
Ein Pixelwert eines Auffüllpixels in einem Auffüllbereich kann durch ein Mischen eines Originalpixelwerts des Auffüllpixels in dem Auffüllbereich und eines Pixelwerts eines korrespondierenden Pixels in einer Projektionsfläche aktualisiert werden. Wenn eine Geometrieabbildung von der Auffüllschaltung 115 zum Generieren von Auffüllpixeln verwendet wird, ist eine Abbildung von einem Auffüllpixel in einem Auffüllbereich auf sein korrespondierendes Pixel in einer Projektionsfläche erforderlich. 7 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Auffüllpixel in einem Auffüllbereich auf sein korrespondierendes Pixel in einer Projektionsfläche darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist. Ein Auffüllpixel B' in einem Auffüllbereich wird zuerst auf einen 3D-Punkt C2 auf der Kugel 202 abgebildet. Als Nächstes wird der 3D-Punkt C2 auf der Kugel 202 durch eine würfelbasierte Projektion auf ein Pixel B in einer Projektionsfläche abgebildet. Ein Pixelwert des Pixels B und ein Pixelwert des Auffüllpixels B' können zum Beispiel durch eine abstandsbasierte Gewichtungsfunktion gemischt werden, um einen gemischten Pixelwert zu generieren, welcher verwendet wird, um den Originalpixelwert des Auffüllpixels B' zu aktualisieren.
Wenn ein Auffüllbereich einer Projektionsfläche durch ein Anwenden einer Geometrieauffüllung auf die Projektionsfläche gemäß der vorstehend genannten ersten beispielhaften Auffüllungsauslegung erhalten wird, kann sich das Pixel B an einer nichtganzzahligen Position (d.h., (X, Y), wobei X keine ganzzahlige Position ist und/oder Y keine ganzzahlige Position ist) in der Projektionsfläche befinden. Insbesondere wird die 2D-Koordinate des Pixels B aufgrund der Geometrieabbildung von der 2D-Koordinate des Auffüllpixels B' konvertiert. Das heißt, das Auffüllpixel B', das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem Auffüllbereich befindet, kann auf das Pixel B, das sich an einer nichtganzzahligen Position (d.h., (X, Y), wobei X keine ganzzahlige Position ist und/oder Y keine ganzzahlige Position ist) in dem Projektionsbereich abgebildet werden. Da ein Pixelwert des Pixels B, das ich an einer nichtganzzahligen Position befindet, nicht direkt in der Projektionsfläche verfügbar ist, kann die Mischschaltung 123 den Pixelwert des Pixels B, das sich an der nichtganzzahligen Position in der Projektionsfläche befindet, durch ein Verwenden eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Pixel, die sich an ganzzahligen Positionen befinden, zu verarbeiten.
In der in 1 gezeigten Ausführungsform ist die Mischschaltung 123 ein Teil der Videodecodierungsschaltung 122. Der Mischprozess, der durch die Mischschaltung 123 ausgeführt wird, kann auf eine Weise eines In-Loop oder eines Out-Loop stattfinden, abhängig von den tatsächlichen Auslegungsüberlegungen.
8 ist ein Diagramm, das eine Videodecodierungsschaltung mit einer In-Loop-Mischung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die in 1 gezeigte Videodecodierungsschaltung 122 kann unter Verwendung der in 8 gezeigten Videodecodierungsschaltung 800 implementiert werden. In dieser Ausführungsform ist die Videodecodierungsschaltung 800 eingerichtet, den Bitstrom BS als einen Eingangsbitstrom zu empfangen und einen Teil des empfangenen Bitstroms BS zu decodieren, um den rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' zu generieren, welcher an eine nachfolgende Stufe (z.B. die in 1 gezeigte Graphikwiedergabeschaltung 124) bereitgestellt wird. Es sollte beachtet werden, dass die in 8 gezeigte Videodecodiererarchitektur nur darstellenden Zwecken dient und nicht gedacht ist, eine Einschränkung der vorliegenden Erfindung zu sein. Wie in 8 gezeigt, weist die Videodecodierungsschaltung 800 eine Entropiedecodierungsschaltung (z.B. einen Variable-Länge-Decodierer) 802, eine Inverse-Quantisierung-Schaltung (gekennzeichnet durch „IQ“) 804, eine Inverse-Transformation-Schaltung (gekennzeichnet durch „IT“) 806, eine Rekonstruktionsschaltung 808, eine Bewegungsvektorberechnungsschaltung (gekennzeichnet durch „MV-Berechnung“) 810, eine Bewegungskompensationsschaltung (gekennzeichnet durch „MC“) 813, eine Intra-Prädiktion-Schaltung (gekennzeichnet durch „IP“) 814, einen Intra-/Inter-Modus-Auswahlschalter 816, mindestens ein In-Loop-Filter 818, eine Mischschaltung 819 und einen Referenzrahmenpuffer 820 auf. Die in 1 gezeigte Mischschaltung 123 kann durch die in 8 gezeigte In-Loop-Mischschaltung 819 implementiert werden.
Wenn ein Block inter-codiert ist, bezieht sich die Bewegungsvektorberechnungsschaltung 810 auf Informationen, die von dem Bitstrom BS durch die Entropiedecodierungsschaltung 802 analysiert werden, um einen Bewegungsvektor zwischen einem aktuellen Block des Rahmens, der decodiert wird, und einem vorhergesagten Block eines Referenzrahmens, welcher ein rekonstruierter Rahmen und in dem Referenzrahmenpuffer 820 gespeichert ist, zu bestimmen. Die Bewegungskompensationsschaltung 813 kann eine Interpolationsfilterung ausführen, um den vorhergesagten Block gemäß dem Bewegungsvektor zu generieren. Der vorhergesagte Block wird an den Intra-/Inter-Modus-Auswahlschalter 816 bereitgestellt. Da der Block inter-codiert ist, gibt der Intra-/Inter-Modus-Auswahlschalter 816 den vorhergesagten Block, der von der Bewegungskompensationsschaltung 813 generiert wird, an die Rekonstruktionsschaltung 808 aus. Wenn ein Block intra-codiert ist, generiert die Intra-Prädiktion-Schaltung 814 den vorhergesagten Block an den Intra-/Inter-Modus-Auswahlschalter 816. Da der Block intra-codiert ist, gibt der Intra-/Inter-Modus-Auswahlschalter 816 den vorhergesagten Block, der von der Intra-Prädiktion-Schaltung 814 generiert wird, an die Rekonstruktionsschaltung 808 aus.
Zusätzlich wird ein decodierter Rest des Blocks durch die Entropiedecodierungsschaltung 802, die Inverse-Quantisierung-Schaltung 804, und die Inverse-Transformation-Schaltung 806 erhalten. Die Rekonstruktionsschaltung 808 kombiniert den decodierten Rest und den vorhergesagten Block, um einen rekonstruierten Block zu generieren. Der rekonstruierte Block kann in den Referenzrahmenpuffer 820 abgespeichert werden, sodass er ein Teil eines Referenzrahmens (welcher ein rekonstruierter Rahmen ist) ist, welcher zum Decodieren nachfolgender Blöcke verwendet werden kann. Insbesondere kann jeder Referenzrahmen, der in dem Referenzrahmenpuffer 820 gespeichert ist, durch die Inter-Prädiktion verwendet werden. Bevor der rekonstruierte Block in den Referenzrahmenpuffer 820 gespeichert wird, kann das (können die) In-Loop-Filter 818 eine ausgewiesene In-Loop-Filterung auf den rekonstruierten Block ausführen. Zum Beispiel kann das (können die) In-Loop-Filter 818 ein Deblockierungsfilter aufweisen. Weiter führt, bevor der rekonstruierte Block in den Referenzrahmenpuffer 820 abgespeichert wird, die Mischschaltung 819 ein ausgewiesenes Mischen auf den rekonstruierten Block aus. Insbesondere führt die Mischschaltung 819 einen Mischprozess auf einen ersten rekonstruierten projektionsbasierten Rahmen IMG_R (welcher eine Ausgabe des (der) In-Loop-Filter 818 ist) aus und speichert einen gemischten Referenzrahmen in den Referenzrahmenpuffer 820 ab, wobei eine Ausgabe der Mischschaltung 819 auch als der rekonstruierte projektionsbasierte Rahmen (decodierte Rahmen) IMG' fungiert, welcher an die nachfolgende Stufe (z.B. eine in 1 gezeigte Graphikwiedergabeschaltung 124) gegeben wird. Der gemischte Referenzrahmen weist einen gemischten Pixelwert, welcher durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in einer Projektionsfläche des rekonstruierten projektionsbasierten Rahmens IMG_R erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in einem Auffüllbereich des rekonstruierten projektionsbasierten Rahmens IMG_R erhalten wird, auf. Wenn die Videodecodierungsschaltung 800 einen anderen Teils des Bitstroms BS decodiert, um einen zweiten rekonstruierten projektionsbasierten Rahmen (welcher eine Ausgabe des (der) In-Loop-Filter 818 ist) zu generieren, wird der gemischte Referenzrahmen (welcher von dem ersten rekonstruierten projektionsbasierten Rahmen IMG_R hergeleitet ist) durch die Inter-Prädiktion verwendet, sodass der gemischte Pixelwert durch die Inter-Prädiktion verwendet wird, die in eine Generierung des zweiten rekonstruierten projektionsbasierten Rahmens eingebunden ist. Die Mischschaltung 819 kann durch die Steuerinformation INF_CTRL, die von dem Bitstrom BS analysiert wird, gesteuert werden. Zum Beispiel kann die Steuerungsinformation INF CTRL ein Kennzeichen aufweisen, das eine Chrominanz-Sampling-Positionsinformation anzeigt.
9 ist ein Diagramm, das eine Videodecodierungsschaltung mit Out-Loop-Mischung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die in 1 gezeigte Videodecodierungsschaltung 122 kann unter Verwendung der in 9 gezeigten Videodecodierungsschaltung 900 implementiert werden. In dieser Ausführungsform ist die Videodecodierungsschaltung 900 eingerichtet, den Bitstrom BS als einen Eingangsbitstrom zu empfangen und einen Teil des empfangenen Bitstroms BS zu decodieren, um den rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' zu generieren, welcher an eine nachfolgende Stufe (z.B. die in 1 gezeigte Graphikwiedergabeschaltung 124) bereitgestellt wird. Es sollte beachtet werden, dass die in 9 gezeigte Videodecodiererarchitektur nur darstellenden Zwecken dient und nicht gedacht ist, eine Einschränkung der vorliegenden Erfindung zu sein. Der Hauptunterschied zwischen den Videodecodierungsschaltungen 800 und 900 ist, dass die Videodecodierungsschaltung 900 eine Mischschaltung 919 aufweist, welche ihren Ausgang nicht in den Referenzrahmenpuffer 820 speichert. Die in 1 gezeigte Mischschaltung 123 kann durch die in 9 gezeigte Out-Loop-Mischschaltung 919 implementiert werden.
Die Rekonstruktionsschaltung 808 kombiniert den decodierten Rest und den vorhergesagten Block, um einen rekonstruierten Block zu generieren. Der rekonstruierte Block kann in den Referenzrahmenpuffer 820 abgespeichert werden, um ein Teil eines Referenzrahmens zu sein (welcher ein rekonstruierter Rahmen ist), welcher zum Decodieren nachfolgender Blöcke verwendet werden kann. Insbesondere kann jeder Referenzrahmen, der in dem Referenzrahmenpuffer 820 gespeichert ist, von der Inter-Prädiktion verwendet werden. Bevor der rekonstruierte Block in den Referenzrahmenpuffer 820 abgespeichert wird, kann das (können die) In-Loop-Filter 818 eine ausgewiesene In-Loop-Filterung auf den rekonstruierten Block ausführen. Zum Beispiel kann das (können die) In-Loop-Filter 818 ein Deblockierungsfilter aufweisen. Die Mischschaltung 919 führt eine ausgewiesene Mischung auf den rekonstruierten Block aus. Insbesondere führt die Mischschaltung 919 einen Mischprozess auf einen ersten rekonstruierten projektionsbasierten Rahmen IMG_R (welcher eine Ausgabe des (der) In-Loop-Filter 818 ist) aus und generiert den rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG', welcher an die nachfolgende Stufe (z.B. die in 1 gezeigte Graphikwiedergabeschaltung 124) bereitgestellt wird. Der rekonstruierte projektionsbasierte Rahmen IMG' ist ein gemischter Rahmen, der einen gemischten Pixelwert aufweist, welcher durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in einer Projektionsfläche des rekonstruierten projektionsbasierten Rahmens IMG_R erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in einem Auffüllbereich des ersten rekonstruierten projektionsbasierten Rahmens IMG_R erhalten wird, generiert wird. Wenn die Videodecodierungsschaltung 900 einen anderen Teil des Bitstroms BS decodiert, um einen zweiten rekonstruierten projektionsbasierten Rahmen (welcher eine Ausgabe des (der) In-Loop-Filter 818 ist) zu generieren, ist der erste rekonstruierte projektionsbasierte Rahmen IMG_R ein Referenzrahmen, der in den Referenzrahmenpuffer 820 abgespeichert ist und von der Inter-Prädiktion verwendet wird, und der gemischte Pixelwert, der von der Mischschaltung 919 ausgegeben wird, wird nicht von einer Inter-Prädiktion verwendet, die in die Generierung des zweiten rekonstruierten projektionsbasierten Rahmens involviert ist. Die Mischschaltung 919 kann durch Steuerinformationen INF_CTRL gesteuert werden, die von dem Bitstrom BS analysiert werden. Zum Beispiel können die Steuerinformationen INF_CTRL ein Kennzeichen aufweisen, das Chrominanz-Sampling-Positionsinformationen anzeigt.
In den vorstehenden Ausführungsformen ist die Mischschaltung 123 ein Teil der Videodecodierungsschaltung 122. Alternativ kann ein Mischprozess durch einen anderen Funktionsblock ausgeführt werden, der in einer Zielelektronikvorrichtung implementiert ist.
10 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 100 und 1000 ist, dass eine Zielelektronikvorrichtung 1004 eine Videodecodierungsschaltung 1012 ohne Mischschaltung und eine Konvertierungsschaltung 1014 mit einer Mischschaltung 1015 aufweist. Die Mischschaltung 1015 wird zum Herleiten eines Zielpixels in einer Zielprojektionsanordnung während eines Projektionsformatkonvertierungsprozesses verwendet. Die Mischschaltung 1015 kann durch Steuerinformationen INF_CTRL, die von dem Bitstrom BS analysiert werden, gesteuert werden. Zum Beispiel können die Steuerinformationen INF_CTRL ein Kennzeichen aufweisen, das Chrominanz-Sampling-Positionsinformationen anzeigt. In dieser Ausführungsform ist die Konvertierungsschaltung 1014 in der Zielelektronikvorrichtung 1004 implementiert, um einen rekonstruierten Rahmen mit einer Projektionsanordnung eines ersten 360-VR-Projektionsformats in einen konvertierten Rahmen mit einer Projektionsanordnung eines zweiten 360-VR-Pojektionsformats, welches zu dem ersten 360-VR-Projektionsformat verschieden ist, zu konvertieren. Zum Beispiel kann der rekonstruierte projektionsbasierte Rahmen (decodierte Rahmen) IMG', der von der Videodecodierungsschaltung 1012 generiert wird, Projektionsflächen und Auffüllbereiche aufweisen, die in einer Würfelabbildungsprojektionsanordnung mit einer Auffüllung gepackt sind, und der konvertierte Rahmen IMG'', der von der Konvertierungsschaltung 1014 generiert und von der nachfolgenden Graphikwiedergabeschaltung 124 verwendet wird, kann ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in einer typischen Äquirektangulärprojektions- (ERP-) Anordnung ohne Auffüllung gepackt sind.
11 ist ein Diagramm, das ein Beispiel eines Mischens mehrerer korrespondierender Pixel in einem gleichen Quellenrahmen, um ein Zielpixel herzuleiten, darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist und der konvertierte Rahmen IMG'', der von der Konvertierungsschaltung 1014 zu generieren ist, besteht in einer ERP-Anordnung ohne Auffüllung. Hinsichtlich eines Zielpixels PT in dem konvertierten Rahmen IMG'' findet die Mischschaltung 1015 eine Mehrzahl von korrespondierenden Pixeln P und P' in dem rekonstruierten projektionsbasierten Rahmen IMG', der von der Videodecodierungsschaltung 1012 generiert wird. Das Zielpixel PT und die korrespondierenden Pixel P und P' werden auf einen gleichen 3D-Punkt C3 auf der Kugel 202 abgebildet, wobei sich ein korrespondierendes Pixel P innerhalb einer Projektionsfläche des rekonstruierten projektionsbasierten Rahmens IMG' befindet und sich das andere korrespondierende Pixel P' innerhalb eines Auffüllbereichs des rekonstruierten projektionsbasierten Rahmens IMG' befindet. Insbesondere wird das Zielpixel PT in dem konvertierten Rahmen IMG'' zuerst auf den 3D-Punkt C3 auf der Kugel 202 abgebildet und dann wird der 3D-Punkt C3 auf der Kugel 202 auf die zwei korrespondierenden Pixel P und P' in dem rekonstruierten projektionsbasierten Rahmen IMG' abgebildet. Die Mischschaltung 1015 generiert einen gemischten Pixelwert durch ein Mischen von Pixelwerten der korrespondierenden Pixel P und P' und legt einen Pixelwert des Zielpixels PT durch den gemischten Pixelwert fest.
Ein Pixel, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem konvertierten Rahmen IMG'' befindet, kann auf ein Pixel abgebildet werden, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' befindet. Das heißt, wenn eine Projektionsanordnungskonvertierung ausgeführt wird, kann die Konvertierungsschaltung 1015 einen Pixelwert eines Pixels, das sich an einer ganzzahligen Position in dem konvertierten Rahmen IMG'' befindet, durch einen Mischprozess festlegen, welcher teilweise auf einem Pixelwert eines Pixels basiert, das sich an einer nichtganzzahligen Position in dem rekonstruierten projektionsbasierten Rahmen IMG' befindet. Da ein Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position befindet, nicht direkt in dem rekonstruierten projektionsbasierten Rahmen IMG' verfügbar ist, kann die Konvertierungsschaltung 1015 den Pixelwert des Pixels, das sich an der nichtganzzahligen Position in dem rekonstruierten projektionsbasierten Rahmen IMG' befindet, unter Verwendung eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Pixel, die sich an ganzzahligen Positionen in dem rekonstruierten projektionsbasierten Rahmen IMG' befinden, zu verarbeiten.
12 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 1000 und 1200 ist, dass eine Zielelektronikvorrichtung 1204 eine Graphikwiedergabeschaltung 1224 mit der Mischschaltung 1015 aufweist. In dieser Ausführungsform wird die Mischschaltung 1015 zum Herleiten eines Zielpixels verwendet, das während eines Wiedergabeprozesses auf dem Anzeigeschirm 126 anzuzeigen ist. Die Mischschaltung 1015 kann durch Steuerinformationen INF_CTRL gesteuert werden, die von dem Bitstrom BS analysiert werden. Zum Beispiel können die Steuerinformationen INF CTRL ein Kennzeichen aufweisen, das Chrominanz-Sampling-Positionsinformationen anzeigt. Der Bildinhalt wird in dem rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' gemäß der 360-VR-Projektionsanordnung L_VR präsentiert. Da der rekonstruierte projektionsbasierte Rahmen IMG' mindestens eine Projektionsfläche und mindestens einen Auffüllbereich darin gepackt aufweist, kann die Mischschaltung 1015 verwendet werden, um ein Zielpixel, das auf dem Anzeigeschirm 126 anzuzeigen ist, durch ein Mischen eines korrespondierenden Pixels in einer Projektionsfläche und eines korrespondierenden Pixels in einem Auffüllbereich herzuleiten.
Es sei auf 12 in Verbindung mit 11 verwiesen. Es sei angenommen, dass das Zielpixel PT ein auf dem Anzeigeschirm 126 anzuzeigendes Pixel ist. Die Mischschaltung 1015 findet eine Mehrzahl von korrespondierenden Pixeln P und P' in dem rekonstruierten projektionsbasierten Rahmen IMG', der von der Videodecodierungsschaltung 1012 generiert wird. Das Zielpixel PT und die korrespondierenden Pixel P, P' werden auf einen gleichen 3D-Punkt C3 auf der Kugel 202 abgebildet, wobei sich ein korrespondierendes Pixel P innerhalb einer Projektionsfläche des rekonstruierten projektionsbasierten Rahmens IMG' befindet und sich das andere korrespondierende Pixel P' innerhalb eines Auffüllbereichs des rekonstruierten projektionsbasierten Rahmens IMG' befindet. Insbesondere wird das auf dem Anzeigeschirm 126 anzuzeigende Zielpixel PT zuerst auf den 3D-Punkt C3 auf der Kugel 202 abgebildet, und dann wird der 3D-Punkt C3 auf der Kugel 202 auf die zwei korrespondierenden Pixel P und P' in dem rekonstruierten projektionsbasierten Rahmen IMG' abgebildet. Die Mischschaltung 1015 generiert einen gemischten Pixelwert durch ein Mischen von Pixelwerten der korrespondierenden Pixel P und P', und legt einen Pixelwert des Zielpixels PT durch den gemischten Pixelwert fest.
Ein Pixel, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem Anzeigeschirm 126 befindet, kann auf ein Pixel, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem rekonstruierten projektionsbasierten Rahmen (decodierten Rahmen) IMG' abgebildet werden. Das heißt, wenn eine Pixelwiedergabe ausgeführt wird, kann die Konvertierungsschaltung 1015 einen Pixelwert eines Pixels, das sich an einer ganzzahligen Position in dem Anzeigeschirm 126 befindet, durch einen Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position in dem rekonstruierten projektionsbasierten Rahmen IMG' befindet, festlegen. Da ein Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position befindet, in dem rekonstruierten projektionsbasierten Rahmen IMG' nicht direkt verfügbar ist, kann die Konvertierungsschaltung 1015 den Pixelwert des Pixels, das sich an der nichtganzzahligen Position in dem rekonstruierten projektionsbasierten Rahmen IMG' befindet, unter Verwendung eines Interpolationsfilters (nicht gezeigt) festlegen, um benachbarte Pixel, die sich an ganzzahligen Positionen in dem rekonstruierten projektionsbasierten Rahmen IMG' befinden, zu verarbeiten.
Unterschiedlichen Chrominanz-Formate, wie 4:4:4, 4:2:2 und 4:2:0, werden gewöhnlich verwendet, wenn Videosequenzen codiert werden. In dem 4:2:0-Chrominanz-Format werden die Chrominanz-Ebenen (Cb, Cr) sowohl in der horizontalen als auch in der vertikalen Richtung verglichen mit der Luminanz-Ebene (Y) um einen Faktor 2 herunterskaliert, wie in dem Unterdiagramm (A) von 13 dargestellt. Die Chrominanz-Sample-Positionstypen 0, 1, 2 und 3 zeigen die Sampling-Positionen von Chrominanz-Samples bezüglich Luminanz-Samples an, wie in dem Unterdiagramm (B) von 13 gezeigt. Unterschiedliche Chrominanz-Sample-Positionstypen übernehmen unterschiedliche Sampling-Positionen von Chrominanz-Samples. Wenn jedes Pixel eines rekonstruierten projektionsbasierten Rahmens, das durch eine Mischschaltung 123, 819, 919, 1015 zu verarbeiten ist, aus einem Luminanz-Sample (Y) und zwei Chrominanz-Samples (Cb, Cr) in dem YCbCr-Farbraum besteht, schlägt die vorliegende Erfindung vor, die Mischschaltung 123, 819, 919, 1015 über die Chrominanz-Sampling-Positionsinformationen zu informieren, sodass der Mischprozess einen gemischten Chrominanz-Sample-Wert an einer korrekten Chrominanz-Sample-Position generieren kann. Die Konvertierungsschaltung 114 ist weiter eingerichtet, ein Kennzeichen FL an die Videocodierungsschaltung 116 auszugeben, wobei das Kennzeichen FL Chrominanz-Sampling-Positionsinformationen (z.B. einen Chrominanz-Sample-Typ) anzeigt. Die Videocodiererschaltung 116 ist weiter eingerichtet, das Kennzeichen FL in den Bitstrom BS zu codieren, sodass das Kennzeichen FL über den Bitstrom BS von der Quellenelektronikvorrichtung 102 an die Zielelektronikvorrichtung 104, 1004, 1204 signalisiert wird. Die Videodecodierungsschaltung 122, 1012 analysiert das Kennzeichen FL von dem Bitstrom BS und legt die Steuerinformationen INF CTRL der Mischschaltung 123, 819, 919, 1015 fest. Insbesondere führt eine Mischschaltung einen Mischprozess zum Generieren eines gemischten Chrominanz-Sample-Werts an einer Ziel-Chrominanz-Sample-Position durch ein Mischen eines ersten Chrominanz-Sample-Werts, der von einer ersten Chrominanz-Sample-Position in einer Projektionsfläche eines rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Chrominanz-Sample-Werts, der von einer zweiten Chrominanz-Sample-Position in einem Auffüllbereich des rekonstruierten projektionsbasierten Rahmens erhalten wird, aus, wobei mindestens eine der Ziel-Chrominanz-Sample-Position, der ersten Chrominanz-Sample-Position und der zweiten Chrominanz-Sample-Position gemäß den Chrominanz-Sampling-Positionsinformationen bestimmt wird, welche von einer Videodecodierungsschaltung über einen Bitstrom signalisiert und an einer Videodecodierungsschaltung von dem Bitstrom analysiert wird.
In einer ersten Chrominanz-Sampling-Position-Signalisierungsauslegung sind die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom BS signalisiert und durch den Mischprozess referenziert werden, das Kennzeichen FL des Mischprozesses. Das heißt, das Kennzeichen FL, das in den Bitstrom BS codiert ist, ist insbesondere für den decodiererseitigen Mischprozess festgelegt. Daher ist die Chrominanz-Sampling-Position in dem Mischprozess explizit angezeigt.
14 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Chrominanz-Sample in einer Projektionsfläche auf sein korrespondierendes Chrominanz-Sample in einem Auffüllbereich darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist. Ein Chrominanz-Sample A_Cb/Cr in einer Projektionsfläche wird zuerst auf einen 3D-Punkt C1_Cb/Cr auf der Kugel 202 abgebildet, wobei sich das Chrominanz-Sample A_Cb/Cr an einer Chrominanz-Sample-Position befindet, wie explizit durch das Kennzeichen FL (z.B. ein Chrominanz-Sample-Typ) des Mischprozesses angezeigt, welches von einem Bitstrom analysiert wird. Als Nächstes wird der 3D-Punkt C1_Cb/Cr auf der Kugel 202 durch eine würfelbasierte Projektion auf ein Chrominanz-Sample A'_Cb/Cr an einer Chrominanz-Sample-Position in einem Auffüllbereich abgebildet. Ein Chrominanz-Sample-Wert des Chrominanz-Samples A_Cb/Cr und ein Chrominanz-Sample-Wert A'_Cb/Cr werden zum Beispiel durch eine abstandsbasierte Gewichtungsfunktion gemischt, um einen gemischten Chrominanz-Sample-Wert zu generieren, welcher verwendet wird, um den Original-Chrominanz-Sample-Wert des Chrominanz-Samples A_Cb/Cr zu aktualisieren.
In einem Fall, in welchem das Chrominanz-Sample A'_Cb/Cr aufgrund dessen, dass seine Chrominanz-Sample-Position von einer durch den Chrominanz-Sample-Typ (welcher explizit durch das Kennzeichen FL angezeigt wird) definierten Chrominanz-Sample-Position abweicht, in dem Auffüllbereich nicht direkt verfügbar ist. Die Mischschaltung 123, 819, 919 kann den Chrominanz-Sample-Wert des Chrominanz-Samples A'_Cb/Cr unter Verwendung eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Chrominanz-Samples, die direkt in dem Auffüllbereich und/oder benachbartem Auffüllbereich (benachbarten Auffüllbereichen) verfügbar sind, zu verarbeiten.
15 ist ein Diagramm, das ein Beispiel eines Abbildens von einem Chrominanz-Sample in einem Auffüllbereich auf sein korrespondierendes Chrominanz-Sample in einer Projektionsfläche darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist. Ein Chrominanz-Sample B'_Cb/Cr in einem Auffüllbereich wird zuerst auf einen 3D-Punkt C2_Cb/Cr auf der Kugel 202 abgebildet, wobei sich das Chrominanz-Sample B'_Cb/Cr an einer Chrominanz-Sample-Position, wie explizit durch das Kennzeichen FL (z.B. ein Chrominanz-Sample-Typ) des Mischprozesses angezeigt, welches von einem Bitstrom analysiert wird. Als Nächstes wird der 3D-Punkt C2_Cb/Cr auf der Kugel 202 durch eine würfelbasierte Projektion auf ein Chrominanz-Sample B_Cb/Cr in einer Projektionsfläche abgebildet. Ein Chrominanz-Sample-Wert des Chrominanz-Samples B_Cb/Cr und ein Chrominanz-Sample-Wert des Chrominanz-Samples B'_Cb/Cr werden zum Beispiel durch eine abstandsbasierte Gewichtungsfunktion gemischt, um einen gemischten Chrominanz-Sample-Wert zu generieren, welcher verwendet wird, um den Original-Chrominanz-Sample-Wert des Chrominanz-Samples B'_Cb/Cr zu aktualisieren.
In einem Fall, in welchem das Chrominanz-Sample B_Cb/Cr in der Projektionsfläche aufgrund dessen, dass seine Chrominanz-Sample-Position von einer Chrominanz-Sample-Position abweicht, die durch den Chrominanz-Sample-Typ (welcher explizit durch das Kennzeichen FL angezeigt wird) definiert ist, nicht direkt verfügbar ist. Die Mischschaltung 123, 819, 919 kann den Chrominanz-Sample-Wert des Chrominanz-Samples B_Cb/Cr unter Verwendung eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Chrominanz-Samples, die direkt in der Projektionsfläche und/oder einem benachbarten Auffüllbereich(en) verfügbar sind, zu verarbeiten.
16 ist ein Diagramm, das ein Beispiel eines Mischens mehrerer korrespondierender Chrominanz-Samples in einem gleichen Quellenrahmen, um ein Ziel-Chrominanz-Sample herzuleiten, das von einem Wiedergabeprozess oder einem Projektionsformatkonvertierungsprozess angefordert wird, darstellt. Es sei angenommen, dass die 360-VR-Projektionsanordnung L_VR durch die 3x2-Würfelanordnung mit einer Randauffüllung und einer Kantenauffüllung 402, wie in dem Unterdiagramm (A) von 4 gezeigt, festgelegt ist. Hinsichtlich eines Ziel-Chrominanz-Samples PT_Cb/Cr in dem konvertierten Rahmen IMG'' oder dem Anzeigeschirm 126 findet die Mischschaltung 1015 eine Mehrzahl von korrespondierenden Chrominanz-Samples P_Cb/Cr und P'_Cb/Cr in dem rekonstruierten projektionsbasierten Rahmen IMG', der von der Videodecodierungsschaltung 1012 generiert wird. Das Ziel-Chrominanz-Sample PT_Cb/Cr befindet sich an einer Chrominanz-Sample-Position, wie explizit durch das Kennzeichen FL (z.B. ein Chrominanz-Sample-Typ) des Mischprozesses angezeigt, welches von einem Bitstrom analysiert wird. Das Ziel-Chrominanz-Sample PT_Cb/Cr und die korrespondierenden Chrominanz-Samples P_Cb/Cr und P'_Cb/Cr werden auf einen gleichen 3D-Punkt C3_Cb/Cr auf der Kugel 202 abgebildet, wobei sich ein korrespondierendes Chrominanz-Sample P_Cb/Cr innerhalb einer Projektionsfläche des rekonstruierten projektionsbasierten Rahmens IMG' befindet und sich das andere korrespondierende Chrominanz-Sample P'_Cb/Cr innerhalb eines Auffüllbereichs des rekonstruierten projektionsbasierten Rahmens IMG' befindet. Insbesondere wird das Ziel-Chrominanz-Sample PT_Cb/Cr zuerst auf den 3D-Punkt C3_Cb/Cr auf der Kugel 202 abgebildet, und dann wird der 3D-Punkt C3_Cb/Cr auf der Kugel 202 auf zwei korrespondierende Chrominanz-Samples P_Cb/Cr und P'_Cb/Cr in dem rekonstruierten projektionsbasierten Rahmen IMG' abgebildet. Die Mischschaltung 1015 generiert einen gemischten Chrominanz-Sample-Wert durch ein Mischen von Chrominanz-Sample-Werten der korrespondierenden Chrominanz-Samples P_Cb/Cr und P'_Cb/Cr und legt einen Chrominanz-Sample-Wert des Ziel-Chrominanz-Samples PT_Cb/Cr durch den gemischten Chrominanz-Sample-Wert fest.
In einem Fall, in welchem eins der korrespondierenden Chrominanz-Samples P_Cb/Cr und P'_Cb/Cr in dem rekonstruierten projektionsbasierten Rahmen IMG' aufgrund dessen, dass seine Chrominanz-Sample-Position von einer durch den Chrominanz-Sample-Typ (welcher explizit durch das Kennzeichen FL angezeigt wird) definierten Chrominanz-Sample-Position abweicht. Die Mischschaltung 1015 kann den Chrominanz-Sample-Wert des korrespondierenden Chrominanz-Samples P_Cb/Cr (oder P'_Cb/Cr) unter Verwendung eines Interpolationsfilters (nicht gezeigt) bestimmen, um benachbarte Chrominanz-Samples, die direkt in dem rekonstruierten projektionsbasierten Rahmen IMG' verfügbar sind, zu verarbeiten.
In einer zweiten Chrominanz-Sampling-Position-Signalisierungsauslegung sind die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom BS signalisiert und durch den Mischprozess referenziert werden, das Kennzeichen FL eines Chrominanz-Formatkonvertierungsprozesses (z.B. 4:4:4 nach 4:2:0), der in der Konvertierungsschaltung 114 ausgeführt wird. Mit anderen Worten ist die Chrominanz-Sampling-Position in dem decodiererseitigen Mischprozess konsistent mit der Chrominanz-Sampling-Position in dem codiererseitigen Chrominanz-Formatkonvertierungsprozess. 17 ist ein Diagramm, das ein Beispiel eines Festlegens einer Chrominanz-Sampling-Position in einem Mischprozess durch eine Chrominanz-Sampling-Position in einem Chrominanz-Formatkonvertierungsprozess darstellt. Der Rundum-Bild-/Videoinhalt S_IN, der durch die Videoaufnahmevorrichtung 112 bereitgestellt wird, kann ein 4:4:4-Format (YCbCr oder RGB) sein. Die Konvertierungsschaltung 114 kann einen Chrominanz-Formatkonvertierungsprozess auf den Rundum-Bild-/Videoinhalt S_IN zum Bereitstellen eines Rundum-Bild-/Videoinhalts in einem 4:2:0-Format (YCbCr) ausführen. Als Nächstes generiert die Konvertierungsschaltung 114 den projektionsbasierten Rahmen IMG mit der 360-VR-Projektionsanordnung L_VR gemäß einer Ausgabe des Chrominanz-Formatkonvertierungsprozesses. Das Kennzeichen FL wird festgelegt, um die Chrominanz-Sampling-Position (z.B. einen Chrominanz-Sample-Typ 0) anzuzeigen, die von dem Chrominanz-Formatkonvertierungsprozess eingesetzt wird, und wird in den Bitstrom BS codiert. Nachdem die Videodecodierungsschaltung 122 das Kennzeichen FL des Chrominanz-Formatkonvertierungsprozesses von dem Bitstrom BS analysiert, wird die Steuerinformation INF_CTRL der Mischschaltung 123, 819, 919, 1015 durch das Kennzeichen FL festgelegt, sodass die Chrominanz-Sampling-Position in dem decodiererseitigen Mischprozess konsistent ist mir der Chrominanz-Sampling-Position in dem codiererseitigen Chrominanz-Formatkonvertierungsprozess.
In einer dritten Chrominanz-Sampling-Position-Signalisierungsauslegung sind die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom BS signalisiert und durch den Mischprozess referenziert werden, das Kennzeichen FL eines Projektionsformatkonvertierungsprozesses, der in der Konvertierungsschaltung 114 ausgeführt wird. Mit anderen Worten ist die Chrominanz-Sampling-Position in dem decodiererseitigen Mischprozess konsistent mit der Chrominanz-Sampling-Position in dem codiererseitigen Projektionsformatkonvertierungsprozess. 18 ist ein Diagramm, das ein Beispiel eines Festlegens einer Chrominanz-Sampling-Position in einem Mischprozess durch eine Chrominanz-Sampling-Position in einem Projektionsformatkonvertierungsprozess darstellt. Der Rundum-Bild-/Videoinhalt S_IN, der durch die Videoaufnahmevorrichtung 112 bereitgestellt wird, kann in einer Quellenprojektionsanordnung, wie einer ERP-Anordnung, angeordnet sein. Die Konvertierungsschaltung 114 kann einen Projektionsformatkonvertierungsprozess auf den Rundum-Bild-/Videoinhalt S_IN zum Generieren des projektionsbasierten Rahmens IMG in einer von der Quellenprojektionsanordnung verschiedenen Zielprojektionsanordnung ausführen. Zum Beispiel kann die Zielprojektionsanordnung (d.h., L_VR) eine Würfelabbildungsprojektionsanordnung mit einer Randauffüllung und einer Kantenauffüllung sein, wie in dem Unterdiagramm (A) von 4 gezeigt. Das Kennzeichen FL wird festgelegt, um die Chrominanz-Sampling-Position (z.B. einen Chrominanz-Sample-Typ 0) anzuzeigen, die von dem Projektionsformatkonvertierungsprozess eingesetzt wird, und wird in den Bitstrom BS codiert. Nachdem die Videodecodierungsschaltung 122 das Kennzeichen FL des Projektionsformatkonvertierungsprozesses von dem Bitstrom BS analysiert, werden die Steuerinformationen INF_CTRL der Mischschaltung 123, 819, 919, 1015 durch das Kennzeichen FL festgelegt, sodass die Chrominanz-Sampling-Position in dem decodiererseitigen Mischprozess mit der Chrominanz-Sampling-Position in dem codiererseitigen Projektionsformatkonvertierungsprozess konsistent ist.
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als nur durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/787449 [0001]

Claims

Videoverarbeitungsverfahren, umfassend: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Erhalten von Chrominanz-Sampling-Positionsinformationen, welche über den Bitstrom signalisiert werden; und Ausführen, durch eine Mischschaltung, eines Mischprozesses zum Generieren eines gemischten Chrominanz-Sample-Werts an einer Ziel-Chrominanz-Sample-Position durch ein Mischen eines ersten Chrominanz-Sample-Werts, der für eine erste Chrominanz-Sample-Position in der mindestens einen Projektionsfläche des rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Chrominanz-Sample-Werts, der für eine zweite Chrominanz-Sample-Position in dem mindestens einen Auffüllbereich des rekonstruierten projektionsbasierten Rahmens erhalten wird, wobei mindestens eine der Ziel-Chrominanz-Sample-Position, der ersten Chrominanz-Sample-Position und der zweiten Chrominanz-Sample-Position gemäß den Chrominanz-Sampling-Positionsinformationen bestimmt wird.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom signalisiert und durch den Mischprozess referenziert werden, ein Kennzeichen des Mischprozesses sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom signalisiert und durch den Mischprozess referenziert werden, ein Kennzeichen eines Chrominanz-Formatkonvertierungsprozesses sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Chrominanz-Sampling-Positionsinformationen, die über den Bitstrom signalisiert und durch den Mischprozess referenziert werden, ein Kennzeichen eines Projektionsformatkonvertierungsprozesses sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Ziel-Chrominanz-Sample-Position mit der ersten Chrominanz-Sample-Position identisch ist, und der Mischprozess den ersten Chrominanz-Sample-Wert durch den gemischten Chrominanz-Sample-Wert aktualisiert.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Ziel-Chrominanz-Sample-Position mit der zweiten Chrominanz-Sample-Position identisch ist, und der Mischprozess den zweiten Chrominanz-Sample-Wert durch den gemischten Chrominanz-Sample-Wert aktualisiert.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Ziel-Chrominanz-Sample-Position zu der ersten Chrominanz-Sample-Position und der zweiten Chrominanz-Sample-Position verschieden ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Bitstroms; Decodieren eines Teils des Bitstroms, um einen ersten rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Ausführen, durch eine Mischschaltung, eines Mischprozesses auf den ersten rekonstruierten projektionsbasierten Rahmen, umfassend: Generieren eines gemischten Pixelwerts durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in der mindestens einen Projektionsfläche des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in dem mindestens einen Auffüllbereich des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird; und Decodieren eines anderen Teils des Bitstroms, um einen zweiten rekonstruierten projektionsbasierten Rahmen zu generieren, wobei der gemischte Pixelwert durch eine Inter-Prädiktion verwendet wird, die in die Generierung des zweiten rekonstruierten projektionsbasierten Rahmens involviert ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Bitstroms; Decodieren eines Teils des Bitstroms, um einen ersten rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; Ausführen, durch eine Mischschaltung, eines Mischprozesses auf den ersten rekonstruierten projektionsbasierten Rahmen, umfassend: Generieren eines gemischten Pixelwerts durch ein Mischen eines ersten Pixelwerts, der für eine erste Pixelposition in der mindestens einen Projektionsfläche des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird, und eines zweiten Pixelwerts, der für eine zweite Pixelposition in dem mindestens einen Auffüllbereich des ersten rekonstruierten projektionsbasierten Rahmens erhalten wird; und Decodieren eines anderen Teils des Bitstroms, um einen zweiten rekonstruierten projektionsbasierten Rahmen zu generieren, wobei der erste rekonstruierte projektionsbasierte Rahmen als ein Referenzrahmen dient, der von einer Inter-Prädiktion verwendet wird, und der gemischte Pixelwert nicht durch eine Inter-Prädiktion verwendet wird, die in die Generierung des zweiten rekonstruierten projektionsbasierten Rahmens involviert ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen rekonstruierten projektionsbasierten Rahmen mit mindestens einer Projektionsfläche und mindestens einem Auffüllbereich, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion gepackt sind, zu generieren; hinsichtlich eines Zielpixels, Finden einer Mehrzahl von korrespondierenden Pixeln in dem rekonstruierten projektionsbasierten Rahmen, wobei das Zielpixel und die korrespondierenden Pixel auf einen gleichen Punkt auf einer Kugel abgebildet werden, die korrespondierenden Pixel ein erstes Pixel und ein zweites Pixel umfassen, sich das erste Pixel innerhalb der mindestens einen Projektionsfläche des rekonstruierten projektionsbasierten Rahmen befindet und sich das zweite Pixel innerhalb des mindestens einen Auffüllbereichs des rekonstruierten projektionsbasierten Rahmens befindet; Generieren eines gemischten Pixelwerts durch ein Mischen von Pixelwerten der korrespondierenden Pixel; und Festlegen eines Pixelwerts des Zielpixels durch den gemischten Pixelwert.
Videoverarbeitungsverfahren gemäß Anspruch 10, wobei das Zielpixel durch einen Wiedergabeprozess angefordert wird.
Videoverarbeitungsverfahren gemäß Anspruch 10, wobei das Zielpixel durch einen Projektionsformatkonvertierungsprozess angefordert wird.