DE112017002851B4

DE112017002851B4 - Verfahren und Vorrichtung einer Grenzauffüllung für eine VR-Videoverarbeitung

Info

Publication number: DE112017002851B4
Application number: DE112017002851.5T
Authority: DE
Inventors: Jian-Liang Lin; Hung-Chih Lin; Chia-Ying Li; Chao-Chih Huang; Shen-Kai Chang
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2016-06-07
Filing date: 2017-06-07
Publication date: 2023-10-12
Anticipated expiration: 2037-06-08
Also published as: TW201804798A; DE112017002851T5; CN109314781A; TWI702832B; GB2565702B; GB2565702A; GB201819285D0; WO2017211294A1; US20170353737A1

Abstract

Verfahren für eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei das Verfahren aufweist:Empfangen einer Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen korrespondieren, die an die Rahmengrenze angrenzen;Auffüllen eines aufgefüllten Bereichs außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwendet, wobei mindestens eine Grenzwürfelfläche in dem einen Würfelflächenrahmen einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist; undCodieren oder Verarbeiten eines aktuellen Würfelflächenrahmens unter Verwendung des aufgefüllten Würfelflächenrahmens;wobei eine erweiterte Zielwürfelfläche, die ein oder mehrere Grenzwürfelflächenkanten mit einer oder mehreren korrespondierenden Grenzwürfelflächen teilt, verwendet wird, um einen korrespondierenden aufgefüllten Bereich für eine Zielseite der korrespondierenden Grenzwürfelfläche herzuleiten, und wobei die eine oder die mehreren Grenzwürfelflächenkanten mit der Zielseite der korrespondierenden Grenzwürfelfläche ausgerichtet sind;wobei die erweiterte Zielwürfelfläche in mehrere Regionen unterteilt wird und jede Region eine Würfelflächenkante der erweiterten Zielwürfelfläche aufweist, und wobei jede Region verwendet wird, um eine korrespondierende aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine gleiche Würfelflächenkante mit der jeweiligen Region teilt; undwobei, wenn eine Gesamtzahl von unterschiedlichen Würfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, drei ist: die erweiterte Zielwürfelfläche in ein erstes Dreieck und zwei zweite Dreiecke unterteilt wird, wobei das erste Dreieck zu einem gleichschenkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer Länge einer Würfelflächenkante ist; jedes zweite Dreieck zu einem rechtwinkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine lange, an einen rechten Winkel angrenzende Seite aufweist, und eine Länge einer kurzen, an den rechten Winkel angrenzenden Seite gleich einer Hälfte der Länge einer Würfelflächenkante ist, wobei das zweite Dreieck eine zweite Höhe aufweist, die gleich einer Hälfte der Länge einer Würfelflächenkante ist, wenn die lange angrenzende Seite als eine Basisseite betrachtet wird, um eine aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine Würfelflächenkante teilt; und die erste Höhe und die zweite Höhe sind so angepasst, dass sie gleich sind; oderwobei, wenn eine Gesamtzahl von unterschiedlichen Grenzwürfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, vier ist: die erweiterte Zielwürfelfläche in vier gleichgroße gleichschenklige Dreiecke unterteilt wird, wobei jedes Dreieck eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer halben Länge einer Würfelflächenkante ist.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bild- und Video-Codierung und -Verarbeitung. Insbesondere bezieht sich die vorliegende Erfindung auf eine Auffüllung von Würfelflächenrahmen für eine Video-Codierung oder -Verarbeitung, welche Pixeldaten außerhalb der Würfelflächenrahmengrenze benötigt.
Hintergrund
Die Druckschrift Chen K. et al.: „Expanding Line Search for Panorama Motion Estimation“ offenbart einen Algorithmus, der die Referenzrahmen erweitert und Suchlinien gemäß den Blockbewegungscharakteristika in Panoramavideos erstellt.
Die Druckschrift Jiang K.; Dubois E.: „Compression of Cubic-Panorama Datasets with Spatially Consistent Representation“ offenbart, dass die räumlich konsistente Darstellung von kubischen Panoramen Bildgrenzeinschränkungen für die Bewegungsvektorsuche eliminiert und dass die Suche nach Bewegungsvektoren sowie passenden Referenzblöcken weit über die seitlichen Bildgrenzen in alle vier Richtungen hinaus erweitert werden kann.
Die Druckschrift US 2016/0012855 A1 offenbart, dass Auffüllung angewendet wird, um Pixel des aktuellen Rahmens auszufüllen, die sich auf fehlende Referenzpixel von Referenzrahmen beziehen.
Die Druckschrift EP 3 466 075 A1 offenbart, dass bei Verwendung einer 4×3-Rahmenanordnung für eine Würfelabbildung die Würfelabbildungsflächen auf eine räumlich kontinuierliche Weise angebracht werden können und dass zwei Teile ohne Bild aufgefüllte Bereiche zum Ausfüllen des rechteckigen Bildes sein können.
Das 360-Grad-Video, auch bekannt als eindringendes Video, ist eine neu entstehende Technologie, welche ein „Gefühl als ein Erlebnis einer Gegenwart“ bieten kann. Das Gefühl eines Eintauchens wird durch ein Umgeben eines Benutzers mit einer Rundum-Szene erzielt, die eine Panoramaansicht, insbesondere ein 360-Grad-Bildfeld abdeckt. Das „Gefühl als ein Erlebnis einer Gegenwart“ kann weiter durch eine stereographische Wiedergabe verbessert werden. Entsprechend wird das Panoramavideo weit verbreitet in Virtual-Reality- (VR-) Anwendungen verwendet.
Eindringendes Video involviert das Aufnehmen einer Szene unter Verwendung von mehreren Kameras, um eine Panoramaansicht wie ein 360-Grad-Bildfeld abzudecken. Die eindringende Kamera verwendet gewöhnlich einen Satz von Kameras, der eingerichtet ist, ein 360-Grad-Bildfeld aufzunehmen. Typischerweise werden zwei oder mehrere Kameras für die eindringende Kamera verwendet. Alle Videodaten müssen simultan aufgenommen werden, und separate Fragmente (auch separate Perspektiven genannt) der Szene werden aufgenommen. Weiter ist der Satz von Kameras oft eingerichtet, Ansichten horizontal aufzunehmen, während andere Anordnungen der Kameras möglich sind.
Die 360-Grad-Panoramakamera nimmt Szenen ringsumher auf, und das zusammengesetzte sphärische Bild ist eine Art, das VR-Video darzustellen, welches in der horizontalen Richtung kontinuierlich ist. Mit anderen Worten setzen sich die Inhalte des sphärischen Bilds an dem linken Ende zu dem rechten Ende fort. Das sphärische Bild kann auch als ein alternatives 360-Grad-Format auch auf die sechs Flächen eines Würfels projiziert werden. Die Konvertierung kann durch eine Projektionskonvertierung ausgeführt werden, um die Sechsflächen-Bilder abzuleiten, die die sechs Flächen eines Würfels repräsentieren. Auf den Flächen des Würfels sind diese sechs Bilder an den Kanten des Würfels verbunden. In 1 korrespondiert ein Bild 110 zu einem zusammengesetzten, rechteckigen Würfelrahmen ohne leere Bereiche, wobei der zusammengesetzte Rahmen aus 1x6-Würfelflächen besteht. In 1 korrespondiert ein Bild 120 zu einem entfalteten Würfelbild mit leeren Bereichen, die mit Pseudodaten gefüllt sind, was auch als ein Würfelnetz mit leeren Bereichen bezeichnet wird. Wie in 1 gezeigt, sind die entfalteten Würfelflächenbilder in ein kleinstes Rechteck eingepasst, welches die sechs entfalteten Würfelflächenbilder bedeckt.
Die zusammengesetzten Würfelflächenrahmen benötigen oft eine zusätzliche Verarbeitung wie eine Video-/Bildkompression für ein Bildfiltern. Zum Beispiel können in herkömmlichen Video-Codierungs-Systemen die Prozesse einer Bewegungsberechnung (ME) und einer Bewegungskompensation (MC) Bilddaten außerhalb oder über eine Rahmengrenze des Referenzrahmens benötigen. Anders als das herkömmliche 2D-Video weisen die Rahmen, die zu einem 360-Grad-Video gehören, eine Kontinuität zwischen benachbarten Würfelflächen auf. Ein Video-/Bildsystem, das über die Kontinuität zwischen Würfelflächen Kenntnis hat, sollte in der Lage sein, durch Verwenden solcher Informationen besser zu arbeiten. In der vorliegenden Erfindung wird eine Grenzverarbeitung für ein VR-Video offenbart, um einen Vorteil aus der Kenntnis einer Kontinuität zwischen Würfelflächen zu ziehen.
Zusammenfassung
Die zuvor genannten Aufgaben werden durch ein Verfahren gemäß dem unabhängigen Anspruch 1, ein weiteres Verfahren gemäß dem unabhängigen Anspruch 2, eine Vorrichtung gemäß dem unabhängigen Anspruch 24 und eine weitere Vorrichtung gemäß dem unabhängigen Anspruch 25 gelöst. Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Ein Verfahren und eine Vorrichtung oder eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, werden offenbart. Gemäß Ausführungsformen der vorliegenden Erfindung wird ein aufgefüllter Bereich außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens aufgefüllt, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwenden, wobei mindestens eine Grenzwürfelfläche in dem einen Würfelflächenrahmen einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden. Der eine Würfelflächenrahmen kann zu einer 1x6-Würfelanordnung, einer 2x3-Würfelanordnung, einer 3x2-Würfelanordnung oder einem Würfelnetz mit leeren Bereichen korrespondieren. Das Codieren des aktuellen Würfelflächenrahmens kann eine Inter-Prädiktion verwenden, und der eine Würfelflächenrahmen korrespondiert zu einem Referenzwürfelflächenrahmen, der vor dem aktuellen Würfelflächenrahmen codiert worden ist.
Gemäß einer Ausführungsform wird für eine Zielgrenzwürfelflächenkante eine erweiterte Würfelfläche, die die Zielgrenzwürfelflächenkante mit einer korrespondierenden Grenzwürfelfläche teilt, in einen korrespondierenden aufgefüllten Bereich für die korrespondierende Grenzwürfelfläche kopiert. Wenn eine oder mehrere Eckbereiche an Ecken des aufgefüllten Bereichs keine korrespondierende Grenzwürfelfläche aufweisen, um aufgefüllte Daten herzuleiten, werden eine oder mehrere benachbarte Grenzwürfelflächen verwendet, um Pixeldaten in einem Eckbereich herzuleiten. Eine linienbasierte Auffüllung, eine kreisbasierte Auffüllung, eine punktbasierte Auffüllung oder eine bereichsbasierte Auffüllung können verwendet werden, um die Pixeldaten in einer Ecke des aufgefüllten Bereichs herzuleiten. Wenn eine linienbasierte Auffüllung verwendet wird, wird einer Linie, die zwei korrespondierende Grenzpixel von zwei benachbarten Würfelflächen eines Eckbereichs verbindet, ein gleicher Pixelwert zugewiesen. Wenn eine kreisbasierte Auffüllung verwendet wird, wird einer kreisförmigen Kurve, die zwei korrespondierende Grenzpixel von zwei benachbarten Würfelflächen eines Eckbereichs verbindet, ein gleicher Pixelwert zugewiesen, und wobei der gleiche Pixelwert zu einem Pixelwert eines der zwei korrespondierenden Grenzpixel oder einer gewichteten Summe der zwei korrespondierenden Grenzpixel korrespondiert. Wenn eine punktbasierte Auffüllung verwendet wird, wird einem Eckbereich ein gleicher Pixelwert zugewiesen, der zu einem Pixelwert eines Eckpixels oder eines anderen Pixels in zwei benachbarten Würfelflächen des einen Eckbereichs korrespondiert. Der Pixelwert kann zu einem Grenzpixel nach einem Filtern korrespondieren. Wenn eine bereichsbasierte Auffüllung verwendet wird, wird ein Eckbereich unter Verwendung einer von zwei benachbarten Würfelflächen des einen Eckbereichs gefüllt, oder der eine Eckbereich wird in zwei Untereckbereiche geteilt und mit korrespondierenden Unterwürfelflächen der zwei benachbarten Würfelflächen gefüllt.
Gemäß einer Ausführungsform wird eine kontinuierliche Auffüllung offenbart, wobei eine erweiterte Zielwürfelfläche, die eine oder mehrere Grenzwürfelflächenkanten mit einer oder mehreren korrespondierenden Grenzwürfelflächen teilt, verwendet wird, um einen korrespondierenden aufgefüllten Bereich für eine Zielseite der korrespondierenden Grenzwürfelfläche herzuleiten, und wobei die eine oder die mehreren Grenzwürfelflächenkanten mit der Zielseite der korrespondierenden Grenzwürfelfläche ausgerichtet sind. Die erweiterte Zielwürfelfläche wird in mehrere Regionen unterteilt, und jede Region weist eine Würfelflächenkante der erweiterten Zielwürfelfläche auf, und wobei jede Region verwendet wird, um einen korrespondierenden aufgefüllten Bereich für eine Grenzwürfelfläche zu füllen, die eine gleiche Würfelflächenkante der jeweiligen Region teilt. Die Höhen der mehreren Regionen, gemessen von der Rahmengrenze, werden so angepasst, dass sie eine gleiche Höhe sind. Eine leere Region zwischen zwei aufgefüllten Regionen kann unter Verwendung einer Interpolation von zwei korrespondierenden Grenzpixeln der zwei aufgefüllten Regionen oder durch Verwenden eines gleichen Werts entlang jeder Linie, die zwei korrespondierende Grenzpixel der zwei aufgefüllten Regionen verbindet, gefüllt werden, und wobei der gleiche Wert zu einem von zwei Pixelwerten von zwei Grenzpixeln der zwei aufgefüllten Regionen korrespondiert.
In der kontinuierlichen Auffüllung können ein Eckbereich, der an eine erweiterte Würfelfläche angrenzt, und eine aufgefüllte Region, die durch eine Region der erweiterten Zielwürfelfläche gefüllt ist, unter Verwendung einer linienbasierten Auffüllung, einer kreisbasierten Auffüllung oder einer punktbasierten Auffüllung gemäß Grenzpixeln oder einem Eckpixel einer oder mehrerer benachbarter Würfelflächen gefüllt werden. Wenn eine Gesamtzahl von unterschiedlichen Grenzwürfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, drei ist: wird die erweiterte Zielwürfelfläche in ein erstes Dreieck und zwei zweite Dreiecke unterteilt, wobei das erste Dreieck zu einem gleichschenkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe eines gleichschenkligen Dreiecks gleich einer Länge einer Würfelflächenkante aufweist; jedes zweite Dreieck zu einem rechtwinkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine lange an einen rechten Winkel angrenzende Seite aufweist und eine Länge einer kurzen an den rechten Winkel angrenzenden Seite ist gleich einer Hälfte der Länge einer Würfelflächenkante, wobei das zweite Dreieck eine zweite Höhe gleich einer Hälfte der Länge einer Würfelflächenkante aufweist, wenn die lange angrenzende Seite als eine Basisseite betrachtet wird, um eine aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine Würfelflächenkante teilt; und die erste Höhe und die zweite Höhe so angepasst sind, dass sie gleich sind. Wenn eine Gesamtzahl von unterschiedlichen Grenzwürfelflächenkanten, die zwischen der einen oder den mehreren Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, vier ist: wird die erweiterte Zielwürfelfläche in vier gleichgroße gleichschenklige Dreiecke unterteilt, wobei jedes Dreieck eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks gleich einer halben Länge einer Würfelflächenkante aufweist.
Wenn der Würfelflächenrahmen zu einem Würfelnetz mit leeren Bereichen korrespondiert, wird mindestens ein leerer Bereich unter Verwendung einer erweiterten Würfelfläche aufgefüllt. Für einen Zielblock in einer Zielgrenzwürfelfläche, die codiert oder verarbeitet wird, wird die eine erweiterte Würfelfläche verwendet, um den mindestens einen leeren Bereich zu füllen, wobei die eine erweiterte Würfelfläche so ausgewählt wird, dass sie eine gleiche Würfelflächenkante mit der Zielgrenzwürfelfläche teilt. In einer Ausführungsform wird der eine leere Bereich in mehrere leere Regionen unterteilt und jede leere Region wird unter Verwendung einer korrespondierenden Grenzwürfelfläche aufgefüllt, die eine Würfelkante mit jeder leeren Region teilt. Eine korrespondierende Region der einen korrespondierenden Grenzwürfelfläche kann verwendet werden, um jede leere Region zu füllen. In einer anderen Ausführungsform wird für jede leere Region ein gleicher Wert entlang einer Linie von einer korrespondierenden Grenzwürfelflächenkante der einen korrespondierenden Grenzwürfelfläche zu einer Ecke jeder leeren an einer Mitte des einen leeren Bereichs liegenden Region zugewiesen.
In einer Ausführungsform wird, wenn der Würfelflächenrahmen zu einem Würfelnetz mit leeren Bereichen korrespondiert, mindestens ein leerer Bereich gemäß einer linienbasierten Auffüllung, einer kreisbasierten Auffüllung oder einer punktbasierten Auffüllung unter Verwendung von Pixeldaten von benachbarten Würfelflächen aufgefüllt. Wenn eine erweiterte Würfelfläche verwendet wird, um einen leeren Bereich oder einen leeren Teilbereich zu füllen, kann Alpha-Blending entlang zweier benachbarter gemeinsam genutzter Würfelflächenkanten eingesetzt werden. Ein gewichtender Faktor für Alpha-Blending kann gemäß lotrechten Abständen zu einem Startpunkt einer Erweiterung bestimmt werden.
In einer anderen Ausführungsform kann das Verfahren weiter ein Signalisieren oder Analysieren von einer oder mehreren Auffüllarten aufweisen, die zu jedem Auffüllbereich oder jeder Auffüllregion zugewiesen werden. Die Auffüllarten für benachbarte Würfelflächen können bestimmt werden, und es ist möglich, dass eine aktuelle Auffüllart für eine aktuelle Würfelfläche nur signalisiert oder analysiert wird, wenn die aktuelle Auffüllart unklar ist.
Kurze Beschreibung der Zeichnungen

1 stellt Beispiele eines zusammengesetzten rechteckigen Würfelrahmens ohne einen leeren Bereich und ein entfaltetes Würfelbild mit leeren, mit Pseudodaten gefüllten Bereichen dar.
2 stellt Beispiele von umlaufenden Würfelflächenkanten dar, die für einen zusammengesetzten rechteckigen Würfelrahmen ohne einen leeren Bereich und das entfaltete Würfelbild mit leeren, mit Pseudodaten gefüllten Bereichen in 1 gekennzeichnet sind.
3 stellt ein Beispiel eines Auffüllprozesses für eine VR-Video-Codierung dar, wobei ein Eingabewürfelflächenrahmen, der zu einem zusammengesetzten 3x2-Rahmen korrespondiert, zu einem aufgefüllten Rahmen aufgefüllt wird.
4 stellt ein Beispiel einer Auffüllung für einen zusammengesetzten 1x6-Würfelflächenrahmen gemäß einer Ausführungsform der vorliegenden Erfindung dar.
5 stellt ein Beispiel von ungefüllten Ecken eines aufgefüllten Bereichs nach einem Füllen des aufgefüllten Bereichs mit erweiterten Würfelflächen dar.
6A stellt ein Beispiel einer Auffüllung einer oberen rechten ungefüllten Ecke unter Verwendung einer linienbasierten Auffüllung dar, wobei jeder Linie ein Wert von einem einzelnen Pixel (z. B. einem Grenzpixel) zugewiesen wird.
6B stellt ein Beispiel einer Auffüllung einer oberen rechten ungefüllten Ecke unter Verwendung einer linienbasierten Auffüllung dar, wobei jeder vertikalen Linie ein Wert von einem einzelnen Pixel zugewiesen wird und jeder horizontalen Linie ein anderer Wert von einem anderen Pixel zugewiesen wird.
6C stellt ein Beispiel einer Auffüllung einer oberen rechten ungefüllten Ecke unter Verwendung einer kreisbasierten Auffüllung dar, wobei jeder kreisförmigen Linie ein Wert von einem einzelnen Pixel oder einer gewichteten Summe von zwei Pixeln von zwei Grenzen zugewiesen wird.
6D stellt ein Beispiel einer Auffüllung einer oberen rechten ungefüllten Ecke unter Verwendung einer punktbasierten Auffüllung dar, wobei das Eckpixel zu dem ungefüllten Eckbereich erweitert wird.
7A stellt ein Beispiel eines Füllens des ungefüllten Eckbereichs durch Rotieren der Würfelfläche an der unteren Kante des Eckbereichs um 90 Grad gegen den Uhrzeigersinn und eines Füllens des Bereichs unter Verwendung der rotierten Würfelfläche dar.
7B stellt ein Beispiel eines Füllens des ungefüllten Eckbereichs durch Rotieren der Würfelfläche an der linken Kante des Eckbereichs um 90 Grad im Uhrzeigersinn und eines Füllens des Bereichs unter Verwendung der rotierten Würfelfläche dar.
8A stellt ein Beispiel eines Füllens der oberen linken Hälfte des Eckbereichs unter Verwendung der oberen linken Hälfte der rotierten Würfelfläche unter dem Eckbereich dar.
8B stellt ein Beispiel eines Füllens der unteren rechten Hälfte des Eckbereichs unter Verwendung der unteren rechten Hälfte der rotierten Würfelfläche von der linken Seite des Eckbereichs dar.
9 stellt ein Beispiel einer Auffüllung für einen zusammengesetzten 2x3-Würfelflächenrahmen und ungefüllte Ecken eines aufgefüllten Bereichs nach einem Füllen des aufgefüllten Bereichs mit erweiterten Würfelflächen gemäß einer Ausführungsform der vorliegenden Erfindung dar.
10 stellt den Fall für eine Auffüllung des zusammengesetzten 1x6-Würfelflächenrahmens dar, wobei die Grenze zwischen zwei benachbarten erweiterten Würfelflächen, die verwendet werden, um den aufgefüllten Bereich zu füllen, immer unstetig ist, wie durch gestrichelte Ellipsen angezeigt.
11 stellt den Fall für eine Auffüllung des zusammengesetzten 2x3-Würfelflächenrahmens dar, wobei die Grenze zwischen zwei benachbarten erweiterten Würfelflächen, die verwendet werden, um den aufgefüllten Bereich zu füllen, immer unstetig ist, wie durch gestrichelte Ellipsen angezeigt.
12 stellt ein Beispiel von Diskontinuitäten während einer Auffüllung des zusammengesetzten 2x3-Würfelflächenrahmens dar, wobei die Grenze zwischen zwei benachbarten erweiterten Würfelflächen, die zum Füllen des aufgefüllten Bereichs verwendet werden, unstetig ist, wie durch gestrichelte Ellipsen angezeigt.
13 stellt ein Beispiel einer kontinuierlichen Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung dar, wobei eine Zielwürfelfläche die gleichen Würfelflächenkanten mit den unteren Würfelflächen eines Würfelrahmens teilt und die Zielwürfelfläche für eine kontinuierliche Auffüllung in mehrere Regionen unterteilt ist.
14 stellt ein Beispiel von Diskontinuitäten während einer Auffüllung eines zusammengesetzten Würfelflächenrahmens dar, wobei die Grenze zwischen zwei benachbarten erweiterten Würfelflächen, die zum Füllen des aufgefüllten Bereichs verwendet werden, unstetig ist, wie durch gestrichelte Ellipsen angezeigt.
15 stellt ein Beispiel einer kontinuierlichen Auffüllung gemäß einer Ausführungsform der vorliegenden Erfindung dar, wobei eine Zielwürfelfläche die gleichen Würfelflächenkanten mit den unteren Würfelflächen eines Würfelrahmens teilt und die Zielwürfelfläche für eine kontinuierliche Auffüllung in mehrere Regionen unterteilt ist.
16A stellt ein Beispiel einer linienbasierten Auffüllung zum Füllen von zwei Eckbereichen dar.
16B stellt ein Beispiel einer kreisbasierten Auffüllung zum Füllen von zwei Eckereichen dar.
16C stellt ein Beispiel einer punktbasierten Auffüllung zum Füllen von zwei Eckbereichen dar.
17 stellt eine andere kontinuierliche Auffülltechnik dar, wobei die Würfelfläche gleichmäßig in vier gleichgroße gleichschenklige Dreiecke unterteilt ist, und die Basisseite jedes Dreiecks zu einer Würfelflächenkante an der rechtsseitigen Würfelgrenze eines Bildes gehört.
18 stellt ein Beispiel einer Auffüllung dar, die für einen leeren Bereich eines entfalteten Würfelnetzes mit leeren Bereichen benötigt wird, wobei der leere Bereich unter Verwendung einer Interpolation oder eines Kopierens entlang der Pfeillinien gefüllt wird.
19 stellt ein Beispiel eines Füllens des leeren Bereichs in einem entfalteten Würfelflächennetz unter Verwendung einer rotierten benachbarten Würfelfläche dar.
20 stellt ein anderes Beispiel eines Füllens des leeren Bereichs in einem entfalteten Würfelflächennetz durch Teilen des leeren Bereichs in mehrere Regionen dar, wobei jede Region unabhängig aufgefüllt wird.
21 stellt ein Beispiel eines Unterteilens eines leeren Bereichs in einem entfalteten Würfelflächennetz in Regionen und eines Füllens jeder Region unter Verwendung einer Grenzwürfelfläche dar.
22 stellt ein Beispiel eines Unterteilens eines leeren Bereichs in einem entfalteten Würfelflächennetz in vier Regionen und eines Füllens jeder Region durch Verwenden eines gleichen Pixelwerts für jede Linie in dem leeren Bereich dar.
23 stellt eine punktbasierte Auffüllung für einen leeren Bereich in einem entfalteten Würfelflächennetz dar, wobei der Wert eines Eckpixels oder ein vordefinierter Wert verwendet wird, um den leeren Bereich zu füllen.
24 stellt eine linienbasierte Auffüllung für einen leeren Bereich in einem entfalteten Würfelflächennetz dar, wobei eine Interpolation unter Verwendung von Grenzpixelwerten entlang von Linien ausgeführt wird, um den leeren Bereich zu füllen.
25 stellt eine kreisbasierte Auffüllung für einen leeren Bereich in einem entfalteten Würfelflächennetz dar, wobei eine Interpolation entlang kreisförmiger Linien unter Verwendung von Grenzpixelwerten ausgeführt werden kann, um den leeren Bereich zu füllen.
26 stellt ein Beispiel eines großen Bewegungsvektors dar, der nach außerhalb eines zusammengesetzten 1x6-Würfelflächenrahmens zeigt, wobei die Auffülltechnik als ein Beispiel verwendet wird, das die benötigten Daten außerhalb der Würfelrahmengrenze generiert.
27 stellt ein Beispiel eines aufgefüllten Würfelflächenrahmens dar, der ein Artefakt aufweist.
28 stellt ein Beispiel eines Bestimmens der Gewichtungen für das Alpha-Blending dar.
29 stellt ein Beispiel eines Anwendens von Alpha-Blending auf zwei benachbarte Würfelflächen, um eine gemischte Würfelfläche zu bilden, dar.
30 stellt ein Beispiel eines Zuweisens von Auffüllarten für jede Auffüllregion in einem Anordnungsschema dar, wobei Blöcke aus gestrichelten Linien aufzufüllende Regionen oder Bereiche anzeigen.
31 stellt ein anderes Beispiel eines Zuweisens einer Auffüllart dar, wobei jede Fläche codiert wird und eine Auffüllung unabhängig erzeugt.
32 stellt ein beispielhaftes Ablaufdiagramm einer Video-Codierung oder -Verarbeitung gemäß einer Ausführungsform der vorliegenden Erfindung für eine Bildsequenz dar, die zu einem Virtual-Reality- (VR-) Video korrespondiert.

Detaillierte Beschreibung
Die nachfolgende Beschreibung ist von der am besten betrachteten Art einer Ausführung der Erfindung. Diese Beschreibung ist für den Zweck einer Darstellung der allgemeinen Prinzipien der Erfindung angefertigt worden und sollte nicht in einem einschränkenden Sinn aufgefasst werden. Der Umfang der Erfindung wird am besten durch Bezug auf die angehängten Ansprüche bestimmt.
Wie vorstehend erwähnt, behandelt die herkömmliche Video-/Bild-Codierung oder die herkömmliche Bildverarbeitung die sphärischen Bilder und die Würfelbilder als reguläre Rahmen bzw. Einzelbilder oder Vollbilder von einer regulären Video-/Bildkamera. Wenn Pixeldaten außerhalb der Grenzen benötigt werden, werden die Pixeldaten außerhalb oft als unverfügbare Daten behandelt. Deshalb werden die unverfügbaren Pixeldaten gewöhnlich künstlich generiert wie eine Auffüllung mit vordefinierten Daten oder ein Erweitern von existierenden Pixeln nahe den Grenzen. Zusammengesetzte Würfelflächenrahmen weisen jedoch eine Kontinuität für Daten außerhalb der Würfelflächengrenzen auf. In der vorliegenden Erfindung werden verschiedene Datenauffülltechniken durch Berücksichtigen der Kontinuität über Würfelflächengrenzen offenbart.
Diese sechs Würfelflächen sind auf eine bestimmte Weise verbunden, wie in 1 gezeigt, da diese sechs Würfelflächen auf der Oberfläche eines Würfels verbunden sind. Entsprechend ist jede Kante auf dem Würfel von zwei Würfelflächen geteilt. Mit anderen Worten sind alle vier Flächen in der x-, y- und z-Richtung umlaufend fortgesetzt. Die umlaufenden Kanten für den zusammengesetzten 1x6-Würfelflächenrahmen ohne leere Bereiche (d. h. Bild 110 in 1) sind durch ein Bild 210 in 2 dargestellt. Für jede nummerierte Kante gibt es eine korrespondierende Kante von einer anderen Würfelfläche. Zum Beispiel ist eine Kante #1 auf der oberen Seite der ersten Würfelfläche links mit einer Kante #1 auf der oberen Seite der zweiten Würfelfläche von rechts verbunden. Es gibt keine Kante, die für die mittleren vier Würfelflächen des Bilds 110 gekennzeichnet ist, da diese vier Würfelflächen kontinuierlich sind und keine Kante zwischen zwei benachbarten Würfelbildern sichtbar ist. Für diese vier Würfelflächen greift jedoch die linke Kante (d. h. Kante #3) des am weitesten links liegenden Bilds um, sodass sie mit der rechten Kante (d. h. Kante #3) des am weitesten rechts liegenden Würfelbilds verbunden ist. Die umlaufenden Kanten für den zusammengesetzten Würfelflächenrahmen mit leeren Bereichen (d. h. Bild 120 in 1) sind durch ein Bild 220 in 2 dargestellt.
In dem VR-Codierungs-Video können die Informationen außerhalb einer Rahmengrenze von andere Würfelflächen erhalten werden. 3 stellt ein Beispiel eines Auffüllprozesses für eine VR-Video-Codierung dar, wobei ein Eingabewürfelflächenrahmen 310 (auch als eine Würfelflächenanordnung oder eine Würfelanordnung bezeichnet), der zu einem zusammengesetzten 3x2-Rahmen korrespondiert, zu einem aufgefüllten Rahmen 320 aufgefüllt wird. Nach dem Auffüllprozess kann dann die herkömmliche Inter-/Intra-Prädiktion 330 verwendet werden, um das Video effizient zu codieren. Insbesondere werden gemäß Ausführungsformen der vorliegenden Erfindung die Pixel außerhalb einer Bild-/Video-Grenze von einer anderen Fläche erhalten, welche die gleiche Würfelflächengrenze teilt.
4 stellt ein Beispiel einer Auffüllung für einen zusammengesetzten 1x6-Würfelflächenrahmen 410 gemäß einer Ausführungsform der vorliegenden Erfindung dar. Für jede Würfelflächenkante der Rahmengrenze werden eine korrespondierende Kante und eine dazugehörige Würfelfläche identifiziert. Zum Beispiel gibt es eine Würfelkante #7 an der linken Grenze des zusammengesetzten Rahmens. Die dazugehörige Würfelfläche 412 wird verwendet, um die benötigten Auffülldaten außerhalb der linken Grenze zu generieren. Eine an die Würfelflächenrahmengrenze angrenzende Würfelfläche wird als eine Grenzwürfelfläche bezeichnet. Für den 1x6-Würfelflächenrahmen ist jede Würfelfläche eine Grenzwürfelfläche. Die Würfelfläche 412 und eine Würfelfläche 422 teilen eine gleiche Würfelflächenkante (d. h. #7). Die Würfelfläche 412, die verwendet wird, um erweiterte Pixeldaten außerhalb einer Zielwürfelfläche 422 abzuleiten, ist eine von der Zielwürfelfläche 422 verschiedene Würfelfläche. Die Würfelfläche 412 wird in dieser Offenbarung auch als eine erweiterte Würfelfläche bezeichnet. Ähnlich können alle anderen Würfelflächen für die Grenzen identifiziert werden. Gewöhnlich wird nur eine begrenzte Zahl von Pixeln nah den Grenzen aufgefüllt. Entsprechend müssen nur die Pixel zwischen einem Bereich 420 und dem zusammengesetzten 1x6-Würfelflächenrahmen 410 aufgefüllt werden. Für die vier Ecken (d. h. 412, 414, 416 und 418) des aufgefüllten Bereichs sind jedoch keine Daten von benachbarten Würfelflächen verfügbar. Deshalb müssen diese vier ungefüllten Ecken mit Auffülldaten aufgefüllt werden, wie sie durch Bereiche 512, 514, 516 und 518 in 5 angezeigt werden.
Verschiedene Techniken, um die aufgefüllten Daten für die vier ungefüllten Ecken des Auffüllbereichs zu generieren, werden offenbart. Gemäß einer Ausführungsform wird eine linienbasierte Auffüllung durch Zuweisen eines gleichen Werts entlang jeder Linie verwendet. Zum Beispiel kann die Linie von der Grenze der aktuellen Fläche oder von der Grenze der benachbarten Fläche erhalten werden, wie in 6A für das Auffüllen des oberen, rechten Eckbereichs 610 gezeigt. Die Linien sind als Pfeillinien gezeigt, die die zwei benachbarten Würfelkanten verbinden. Der Pixelwert kann entlang der Pfeillinie von den Pixeln an der vertikalen Kante 620 oder von der horizontalen Kante 622 kopiert werden. Der Linie kann ein Wert von einem einzelnen Pixel oder mehreren Pixeln zugewiesen werden. Zum Beispiel stellt 6B ein Beispiel eines Verwendens von zwei Pixeln für jede Linie dar, wobei die Linie in der horizontalen Richtung in der oberen Region der Diagonallinie 632 verläuft und in der vertikalen Richtung in der unteren Region der Diagonallinie 632 verläuft. Für die horizontale Richtung kopiert die Linie Pixel von der vertikalen Kante 620, und für die vertikale Richtung kopiert die Linie Pixel von der horizontalen Kante 622.
In einer anderen Ausführungsform wird eine kreisbasierte Auffüllung durch Zuweisen eines gleichen Werts entlang jeder kreisförmigen Linie verwendet, wie in 6C gezeigt. Der Wert kann von einer der Grenzen (d. h. 620 oder 622) oder einer gewichteten Summe von zwei Pixeln von zwei Grenzen (d. h. 620 und 622) hergeleitet werden. In noch einer anderen Ausführungsform wird eine punktbasierte Auffüllung verwendet, um aufgefüllte Daten durch Erweitern des Eckpixels 642 zu dem ungefüllten Eckbereich zu generieren, wie in 6D gezeigt. In diesem Fall ist der Pixelwert für Pixel in dem Auffüllbereich der gleiche wie das Eckpixel 642.
In der vorstehenden Ausführungsform zur Auffüllung der Eckbereiche kann der Auffüllwert aus gefilterten Grenzpixeln bestehen. Mit anderen Worten kann ein Filtern auf Grenzpixel angewendet werden, und die gefilterten Pixel werden dann verwendet, um die Auffülldaten zu generieren.
Eine bereichsbasierte Auffülltechnik zum Generieren der Auffülldaten für den ungefüllten Eckbereich wird ebenfalls offenbart. In einer Ausführungsform wird eine der zwei Grenzwürfelflächen verwendet, um den ungefüllten Eckbereich zu füllen. Zum Beispiel wird die Würfelfläche 710 an der unteren Kante des Eckbereichs verwendet, um den Eckbereich zu füllen, wie in 7A gezeigt. In diesem Fall wird die Würfelfläche 710 um 90 Grad gegen den Uhrzeigersinn rotiert, um eine rotierte Würfelfläche 712 zu bilden, und wird verwendet, um den Eckraum durch Rotieren der Würfelfläche 710 um 90 Grad gegen den Uhrzeigersinn zu füllen. Außerdem kann die Würfelfläche 720 an der linken Kante des Eckbereichs verwendet werden, um den Eckbereich zu füllen, wie in 7B gezeigt. In diesem Fall wird die Würfelfläche 720 um 90 Grad im Uhrzeigersinn rotiert, um eine rotierte Würfelfläche 722 zu bilden, und wird verwendet, um den ungefüllten Eckbereich zu füllen. Es ist zu beachten, dass der gefüllte Bereich in 7A an der linken Kante 714 fortlaufend ist aber an der unteren Kante 716 unterbrochen ist. Andererseits ist der gefüllte Bereich in 7B an der unteren Kante 726 fortlaufend, ist aber an der linken Kante 724 unterbrochen.
In 7A ist der obere linke Teil des gefüllten Bereichs von der Würfelflächengrenze fortlaufend. Andererseits ist in 7B der untere rechte Teil des gefüllten Bereichs von der Würfelflächengrenze fortlaufend. Deshalb wird in einer anderen Ausführungsform eine Hälfte jeder Würfelfläche von beiden Kanten des Eckbereichs verwendet, um den Eckbereich zu füllen, wie in 8A und 8B gezeigt. Die obere linke Hälfte der Würfelfläche 712 über der Diagonallinie wird verwendet, um die obere linke Hälfte des Eckbereichs über der Diagonallinie zu füllen, wie in 8A gezeigt. Andererseits wird die untere rechte Hälfte der Würfelfläche 722 unterhalb der Diagonallinie verwendet, um die untere rechte Hälfte des Eckbereichs unterhalb der Diagonallinie zu füllen, wie in 8B gezeigt.
Abweichend von dem zusammengesetzten 1x6-Würfelflächenrahmen kann auch ein zusammengesetzter 2x3-Würfelflächenrahmen verwendet werden. 9 stellt ein Beispiel einer Auffüllung für einen zusammengesetzten 2x3-Würfelflächenrahmen 910 dar. Ähnlich zu dem Fall für den zusammengesetzten 1x6-Würfelflächenrahmen in 5 sind die Würfelflächen, die die gleichen Würfelkanten teilen, um die Grenzen des zusammengesetzten 2x3-Würfelflächenrahmens 910 angeordnet. Der Bereich zwischen einem Block 920 und dem zusammengesetzten 2x3-Würfelflächenrahmen 910 ist aufzufüllen. Außerdem weisen an den vier Ecken des zu füllenden Bereichs die vier Eckbereiche (932, 934, 936 und 038) keine benachbarten Würfelflächen auf, welche verwendet werden können, um den aufgefüllten Bereich zu füllen. Die in 6A-D, 7A-B und 8A-B gezeigten Auffülltechniken sind auch für den Fall in 9 einsetzbar.
Die Auffülltechniken durch Verwenden von erweiterten Würfelflächen, die gemeinsame Kanten teilen, führen zu einem fortlaufenden Bild über die Bildgrenzen. Der Bereich zwischen zwei benachbarten Würfelflächen, die verwendet werden, um den Grenzbereich zu füllen, kann jedoch nicht fortlaufend sein. 10 stellt den Fall für eine Auffüllung des zusammengesetzten 1x6-Würfelflächenrahmens dar. Die Grenze zwischen zwei benachbarten erweiterten Würfelflächen, die verwendet werden, um den aufgefüllten Bereich zu füllen, ist immer unterbrochen, wie durch gestrichelte Ellipsen angezeigt, wie in 10 gezeigt. 11 stellt den Fall für eine Auffüllung des zusammengesetzten 2x3-Würfelflächenrahmens dar. Der Bereich zwischen zwei benachbarten erweiterten Würfelflächen, die verwendet werden, um den aufgefüllten Bereich zu füllen, ist immer unterbrochen, wie durch gestrichelte Ellipsen angezeigt, wie in 11 gezeigt.
Um das Diskontinuitätsproblem, wie in 10 und 11 dargestellt, zu überwinden, werden fortlaufende Auffülltechniken offenbart, welche einen fortlaufenden Auffüllbereich von einer erweiterten Würfelfläche zu einer anderen erweiterten Würfelfläche generieren. 12 stellt ein Beispiel einer fortlaufenden Auffüllung basierend auf einer Würfelfläche 1212 (gekennzeichnet als eine Zielwürfelfläche) dar. Die Würfelfläche 1212 weist drei gemeinsame Würfelflächenkanten mit der unteren Grenze des zusammengesetzten 2x3-Würfelflächenrahmens 1210 auf. Die Würfelfläche 1212 kann verwendet werden, um die Auffülldaten für den unteren Bereich 1222 des zusammengesetzten 2x3-Würfelflächenrahmens 1210 zu generieren. Die Zielwürfelfläche 1212 weist drei Kanten (gekennzeichnet als „A“, „B“ und „C“ in 12) auf, die mit den Würfelflächen an der unteren Reihe des zusammengesetzten 2x3-Würfelflächenrahmens 1210 geteilt werden. Wie jedoch in einem Bild 1220 gezeigt, sind zwei Kanten der Würfelfläche 1212 zu benachbarten Würfelflächen unterbrochen, wie durch Ellipsen 1230 und 1232 angezeigt. Verschiedene Techniken zum Generieren einer fortlaufenden Auffüllung werden wie folgt offenbart.
In dem ersten Beispiel wird die Würfelfläche 1212 in mehrere Regionen unterteilt. Wie in 12 gezeigt, teilen drei Seiten (d. h. „A“, „B“ und „C“) der Zielwürfelfläche die gleichen Würfelflächenkanten mit den unteren Würfelflächen des Würfelrahmens 1210. Deshalb wird die Zielwürfelfläche 1310 in Regionen 1, 2 und 3 unterteilt, wie in 13 gezeigt. Die drei unterteilten Regionen sind unter dem Würfelrahmen angeordnet, wie in einem Bild 1320 gezeigt. Die unterteilte Zielwürfelfläche 1310 besteht aus einem gleichschenkligen Dreieck (d. h. Region 2) und zwei rechtwinkligen Dreiecken (d. h. Regionen 1und 3). Die Höhe des gleichschenkligen Dreiecks weist eine geteilte Würfelflächenkante (d. h. Kante B wie in der korrespondierenden 12 gezeigt) auf. Diese Seite wird als eine Basisseite angesehen, und die Höhe h1 des gleichschenkligen Dreiecks ist durch einen Pfeil angezeigt. Jedes rechtwinklige Dreieck weist eine lange Seite (d. h. Kante A oder Kante C wie in der korrespondierenden 12 gezeigt) und eine kurze Seite angrenzend an den rechten Winkel auf. Die Länge der langen Seite ist gleich der Länge der Würfelflächenkante. Die Länge h2 der kurzen Seite ist gleich der halben Länge der Würfelflächenkante. In dem Auffüllbereich 1320 sind die Höhen der drei Dreiecke so angepasst, dass sie die gleiche Höhe aufweisen. Mit anderen Worten ist die angepasste Höhe h1` die gleiche wie die angepasste Höhe h2`, wie in 13 gezeigt. Die Bereiche zwischen den unterteilten Regionen können, wie durch die Pfeile gezeigt, interpoliert werden. Außerdem kann den Bereichen zwischen unterteilten Regionen der gleiche Pixelwert entlang jeder Linie zugewiesen werden, die durch einen Pfeil angezeigt wird, wobei der Pixelwert zu einem Wert von einem der zwei Grenzpixel der benachbarten unterteilten Regionen korrespondiert.
14 stellt ein anderes Beispiel einer kontinuierlichen Auffüllung dar, die eine Zielwürfelfläche verwendet. Ein Bild 1410 in 14 korrespondiert zu einem Bild, das mit erweiterten Würfelflächen gefüllt ist, die gemeinsame Kanten teilen. Wie durch Ellipsen 1412 und 1414 angezeigt, gibt es Diskontinuitäten zwischen zwei benachbarten erweiterten Würfelflächen. Eine kontinuierliche Auffülltechnik, wie in 13 gezeigt, kann eingesetzt werden. Die Zielwürfelkanten auf der rechten Seite des Würfelrahmens sind gekennzeichnet (d. h. „A“, „B“, „C“ und „D“). Diese vier Kanten korrespondieren zu den vier Kanten eines Würfelbilds 1430. Ähnlich zu dem Beispiel von 13 ist die Würfelfläche 1430 in mehrere Regionen unterteilt. Wie in 15 gezeigt, ist die Zielwürfelfläche 1430 in Bereiche 1, 2 und 3 unterteilt, wie in 15 gezeigt, wobei die unterteilte Würfelfläche 1510 angezeigt ist. Die drei unterteilten Regionen sind zu der rechten Seite des Würfelflächenrahmens angeordnet, wie in einem Bild 1520 gezeigt. Die Bereiche zwischen den unterteilten Regionen können, wie durch die Pfeile gezeigt, interpoliert werden. Außerdem kann den Bereichen zwischen unterteilten Regionen der gleiche Pixelwert entlang jeder Linie zugewiesen werden, die durch einen Pfeil angezeigt wird, wobei der Pixelwert zu einem Grenzwert einer der zwei benachbarten unterteilten Regionen korrespondieren kann.
In 15 gibt es keine konvertierte Würfelfläche für die Bereiche auf der rechten Seite der Würfelkanten D, was ein ähnliches Problem wie dasjenige ist, das in 4 und 5 dargestellt ist. Die in 6A bis 6D dargestellten Techniken können eingesetzt werden, um das Problem zu lösen. Entsprechend ist in 16A eine linienbasierte Auffüllung gezeigt, um Eckbereiche 1610 und 1612 zu füllen; ist in 16B eine kreisbasierte Auffüllung gezeigt, um die Eckbereiche 1620 und 1622 zu füllen; und ist in 16C eine punktbasierte Auffüllung gezeigt, um Eckbereiche 1630 und 1632 zu füllen.
17 stellt noch eine andere kontinuierliche Auffülltechnik dar, wobei die Würfelfläche gleichmäßig in vier gleichgroße gleichschenklige Dreiecke 1710 unterteilt ist, und die Basisseite (gekennzeichnet als A, B, C oder D) jedes Dreiecks zu einer Würfelflächenkante an der rechtsseitigen Würfelgrenze des Bilds 1420 gehört. Entsprechend werden diese vier unterteilten Regionen 1720 in die rechte Seite des Würfelrahmens 1420 gefüllt. Die Bereiche zwischen den unterteilten Regionen können unter Verwendung einer Interpolation gefüllt werden.
18 stellt ein anderes Beispiel einer Auffüllung dar, die für ein entfaltetes Würfelnetz 1810 benötigt wird. Es gibt leere Bereiche (1812 bis 1818) nach einem Füllen von Bereichen nah geteilten Würfelkanten mit korrespondierenden Würfelflächen. In einer Ausführungsform kann der leere Bereich unter Verwendung einer Interpolation gefüllt werden. Zum Beispiel können Grenzpixel von der Kante verwendet werden, um zu interpolieren, oder diese können entlang der für den Bereich 1812 angezeigten Linien kopiert werden.
In einer anderen Ausführungsform kann eine Würfelfläche verwendet werden, um den leeren Bereich zu füllen, wie in 19 gezeigt. In diesem Beispiel wird eine Würfelfläche 1912 im Uhrzeigersinn rotiert und wird in einem Bereich 1910 platziert. Die rotierte Würfelfläche 1910 ist fortlaufend über eine Würfelflächengrenze 1930. Für einen aktuellen zu verarbeitenden Block 1920 kann der Block umgebende Daten über die Grenze 1930 verwenden.
In einer anderen Ausführungsform kann der leere Bereich in mehrere Regionen geteilt werden und jede Region wird unabhängig aufgefüllt, wie in 20 gezeigt, wobei der leere Bereich in vier Regionen 2010 unterteilt wird (Bereiche 1, 2, 3 und ein leerer Bereich).
Der leere Bereich kann auch mit einer Grenzwürfelfläche (eine Auffüllfläche genannt) für jede Würfelkante gefüllt werden. Zum Beispiel können die Pixel in einem Bereich einer Grenzfläche verwendet werden, um eine Region des leeren Bereichs zu füllen. 21 stellt ein Beispiel eines Unterteilens eines leeren Bereichs in Regionen und eines Füllens jeder Region unter Verwendung einer Grenzwürfelfläche dar. In 21 ist ein leerer Bereich 2110 zu füllen und der leere Bereich wird auf eine gleiche Weise wie in 20 gezeigt in vier Regionen unterteilt. Für Regionen 1, 2 und 3 wird eine Region (2120, 2122 oder 2124) einer korrespondierenden Grenzwürfelfläche erweitert, um die jeweilige leere Region (d. h. jeweils Regionen 1, 2 oder 3) zu füllen. In einem Beispiel kann die Region (2120, 2122 oder 2124) einer korrespondierenden Grenzwürfelfläche mit Bezug auf die jeweilige Würfelkante umgedreht werden, wie durch die gebogenen Pfeile angezeigt, um die jeweilige leere Region (d. h. jeweils Regionen 1, 2 oder 3) zu füllen.
22 stellt noch ein anderes Beispiel eines Füllens des leeren Bereichs unter Verwendung von Grenzwürfelflächen dar. In 22 wird der leere Bereich auf eine gleiche Weise wie diejenige, die in 20 gezeigt ist, in vier Regionen unterteilt. Für jede Region des leeren Bereichs wird ein gleicher Pixelwert für jede Linie in dem leeren Bereich zugewiesen. Der Pixelwert kann ein korrespondierender Grenzpixelwert oder ein vordefinierter Wert sein.
Andere, vorstehend genannte Auffülltechniken können in diesem Fall ebenso eingesetzt werden. Zum Beispiel stellt 23 eine punktbasierte Auffüllung dar, wobei der Wert eines Eckpixels 2320 oder ein vordefinierter Wert verwendet wird, um den Bereich 2310 zu füllen. 24 stellt eine linienbasierte Auffüllung dar, wobei eine Interpolation entlang von Linien unter Verwendung von Grenzpixelwerten ausgeführt werden kann, um den Bereich 2410 zu füllen. Außerdem kann ein Grenzpixelwert oder ein vordefinierter Wert jeder Linie verwendet werden, um den Bereich 2410 zu füllen. 25 stellt eine kreisbasierte Auffüllung dar, wobei eine Interpolation entlang kreisförmiger Linien unter Verwendung von Grenzpixelwerten ausgeführt werden kann, um einen Bereich 2510 zu füllen. Außerdem kann ein Grenzpixelwert oder ein vordefinierter Wert für jede kreisförmige Linie verwendet werden, um den Bereich 2510 zu füllen.
Die Auffülltechniken füllen gewöhnlich benachbarte Bereiche um die Grenzen, sodass, wenn Pixeldaten außerhalb der Rahmengrenzen benötigt werden, die notwendigen Daten für eine Verarbeitung verfügbar sein werden. Zum Beispiel kann ein Filterprozess benachbarte Pixel um ein aktuelles Pixel benötigen. Wenn das aktuelle Pixel nah an oder an der Grenze eines Bilds liegt, können einige benachbarte Daten nicht verfügbar sein. Der Auffüllprozess wird die notwendigen benachbarten Daten generieren. Für eine Inter-Prädiktion in einer Video-Codierung können Referenzdaten, wie durch einen Bewegungsvektor angezeigt, als Referenzdaten verwendet werden. Wenn ein aktueller Block nahe an der Grenze liegt, können die benötigten Referenzdaten außerhalb der Bildgrenze liegen. Der Auffüllprozess kann helfen, die benötigten Referenzdaten zu generieren. Dennoch kann eine große Bewegung auftreten, welche zu Daten jenseits des aufgefüllten Bereichs zeigen wird. 26 stellt ein Beispiel eines großen MV dar, wobei die Auffülltechnik in 5 als ein Beispiel verwendet wird. Ein Block 2610 korrespondiert zu einem aktuellen Block. Ein Bewegungsvektor 2620 für den aktuellen Block zeigt zu einem weit entfernten Bereich jenseits der aufgefüllten Region 420. Gemäß einer Ausführungsform werden, wenn der Bewegungsvektor außerhalb der Würfelauffüllregion 420 liegt, die Referenzpixel von den Grenzpixeln des Würfelauffüllbilds nachgebildet.
In der Würfelflächenrepräsentation können die unterschiedlichen Würfelflächen durch unterschiedliche Kameras aufgenommen worden sein und/oder können durch eine unterschiedliche Verarbeitung gegangen sein, was Artefakte in einer Auffüllung entlang einer Würfelrahmengrenze verursachen kann. Die vorliegende Erfindung offenbart auch Auffülltechniken, welche ein Filtern verwenden, um das sichtbare Artefakt entlang der Würfelrahmengrenze zu reduzieren. Das Filtern kann zu einem Glättungsfiltern oder einem Deblocken korrespondieren. 27 stellt ein Beispiel eines aufgefüllten Würfelflächenrahmens dar, der ein Artefakt aufweist. Ein Bild 2710 korrespondiert zu einem aufgefüllten Würfelflächenrahmen, wobei ein Rechteck 2712 die Grenze des Würfelflächenrahmens anzeigt. Ein Bild 2720 zeigt einige Artefakte (2722 und 2724) in dem aufgefüllten Würfelflächenrahmen.
In einer Ausführungsform wird Alpha-Blending verwendet, um das Artefakt zu reduzieren. Insbesondere wird Alpha-Blending eingesetzt, um Würfelflächen entlang unterschiedlicher Richtungen zu erweitern. Eine gewichtete Summe wird verwendet, um den gefilterten Pixelwert zu bestimmen. 28 stellt ein Beispiel eines Bestimmens der Gewichte für das Alpha-Blending dar. Für ein Pixel „X“ ist der Abstand von einem Grenzpixel P1 zu dem aktuellen Pixel „X“ d1, und der Abstand von einem anderen Grenzpixel P2 zu dem aktuellen Pixel „X“ ist d2. Die Gewichtungsfaktoren werden als d2/(d1+d2) und d1/(d1+d2) hergeleitet. 29 stellt ein Beispiel eines Anwendens von Alpha-Blending auf zwei benachbarte Würfelflächen (2910 und 2912), um eine gemischte Würfelfläche 2920 zu bilden, dar.
Die vorliegende Erfindung offenbart auch eine Technik, um Auffüllarten zu signalisieren. Wie dazu erwähnt wurde, sind verschiedene Auffülltechniken verfügbar, um einen aufgefüllten Würfelflächenrahmen zu generieren. Keine bestimmte Auffülltechnik kann garantieren, dass sie immer das beste Ergebnis liefert. Entsprechend ermöglicht eine Ausführungsform der vorliegenden Erfindung, dass der Codierer eine beste Auffüllung für eine unklare Würfelfläche auswählt, bei der die beste Auffüllung unbekannt ist. 30 stellt ein Beispiel eines Zuweisens von Auffüllarten für jeden Auffüllbereich in einem Anordnungsschema dar, wobei Blöcke gestrichelter Linien aufzufüllende Regionen oder Bereiche anzeigen. 31 stellt ein anderes Beispiel eines Zuweisens von Auffüllarten dar. In diesem Beispiel wird jede Fläche codiert und erzeugt unabhängig eine Auffüllung. Die vier angrenzenden Flächen der aktuellen Fläche werden zuerst verbunden und Auffüllarten werden für die anderen Regionen zugewiesen.
Die vorstehend offenbarten Erfindungen können in verschiedenen Formen in verschiedene Video-Codierungs- oder -Decodierungssysteme integriert werden. Zum Beispiel können die Erfindungen unter Verwendung von hardware-basierten Ansätzen wie dedizierten integrierten Schaltungen (ICs), Field-Programmable-Logic-Arrays (FPGAs), digitalen Signalprozessoren (DSPs), zentralen Prozessoreinheiten (CPUs) usw. implementiert werden. Die Erfindungen können auch unter Verwendung von Software-Codes oder Firmware-Codes implementiert werden, die auf einem Computer, Laptop oder einer mobilen Vorrichtung wie Smart-Phones ausführbar sind. Weiter können die Software-Codes oder Firmware-Codes auf einer Plattform eines gemischten Typs wie einer CPU mit dedizierten Prozessoren (z. B. einer Video-Codierungsmaschine oder einem Co-Prozessor) ausführbar sein.
32 stellt ein beispielhaftes Ablaufdiagramm einer Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, gemäß einer Ausführungsform der vorliegenden Erfindung dar. Gemäß diesem Verfahren wird in Schritt 3210 eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, empfangen, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen angrenzend an die Rahmengrenze korrespondieren. Ein aufgefüllter Bereich außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens wird in Schritt 3220 generiert, um einen aufgefüllten Würfelflächenrahmen zu bilden, wobei eine oder mehrere erweiterte Würfelflächen verwendet werden, wobei mindestens eine Grenzwürfelfläche in dem einen Würfelflächenrahmen einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist. Ein aktueller Würfelflächenrahmen wird dann unter Verwendung des aufgefüllten Würfelflächenrahmens in Schritt 3230 codiert oder verarbeitet.
Die vorstehenden Ablaufdiagramme können zu Software-Programm-Codes korrespondieren, die auf einem Computer, einer mobilen Vorrichtung, einem digitalen Signalprozessor oder einer programmierbaren Vorrichtung für die offenbarte Erfindung auszuführen sind. Die Programm-Codes können in verschiedenen Programmiersprachen wie C++ geschrieben werden. Das Ablaufdiagramm kann auch zu einer hardware-basierten Implementierung korrespondieren, wo eine oder mehrere Elektronikschaltungen (z. B. ASICs (applikationsspezifische integrierte Schaltungen) und ein FPGA (Field-Programmable-Gate-Array)) oder Prozessoren (z. B. ein DSP (ein digitaler Signalprozessor)).
Die vorstehende Beschreibung wird vorgelegt, um einer Person mit gewöhnlichen Kenntnissen auf dem Gebiet zu ermöglichen, die vorliegende Erfindung, wie sie im Zusammenhang mit einer bestimmten Applikation und ihrer Anforderung bereitgestellt wird, auszuführen. Verschiedene Modifikationen zu den beschriebenen Ausführungsformen werden für diejenigen mit Fachkenntnissen auf dem Gebiet offensichtlich sein, und die allgemeinen, hier definierten Prinzipien können in anderen Ausführungsformen eingesetzt werden. Deshalb ist die vorliegende Erfindung nicht gedacht, auf die bestimmten, gezeigten und beschriebenen Ausführungsformen beschränkt zu sein, sondern soll mit dem weitesten Umfang übereinstimmen, der mit den hier offenbarten Prinzipien und Neuheitsmerkmalen übereinstimmt. In der vorstehenden detaillierten Beschreibung sind verschiedene spezifische Details dargestellt, um ein eingehendes Verständnis der vorliegenden Erfindung zu gewährleisten. Es wird dennoch durch diejenigen mit Fachkenntnissen auf dem Gebiet verstanden, dass die vorliegende Erfindung ausgeführt werden kann.
Eine Ausführungsform der vorliegenden Erfindung, wie vorstehend beschrieben, kann in verschiedener Hardware, Software-Codes oder einer Kombination von beiden implementiert werden. Zum Beispiel kann eine Ausführungsform der vorliegenden Erfindung eine Schaltung, die in einen Videokompressions-Chip integriert ist, oder ein Programm-Code, der in eine Videokompressions-Software integriert ist, sein, um die hier beschriebene Verarbeitung auszuführen. Eine Ausführungsform der vorliegenden Erfindung kann auch ein Programm-Code sein, der auf einem digitalen Signalprozessor (DSP) auszuführen ist, um die hier beschriebene Verarbeitung auszuführen. Die Erfindung kann auch eine Anzahl von Funktionen beinhalten, die durch einen Computer-Prozessor, einen digitalen Signalprozessor, einen Mikro-Prozessor oder ein Field-Programmable-Gate-Array (FPGA) auszuführen sind. Diese Prozessoren können eingerichtet sein, besondere Aufgaben gemäß der Erfindung durch Ausführen von maschinenlesbarem Software-Code oder Firmware-Code auszuführen, welcher die besonderen Verfahren definiert, die durch die Erfindung verkörpert werden. Der Software-Code oder Firmware-Code kann in unterschiedlichen Programmiersprachen und unterschiedlichen Formaten oder Stilen entwickelt werden. Der Software-Code kann auch für unterschiedliche Zielplattformen kompiliert werden. Unterschiedliche Code-Formate, -Stile und -Sprachen von Software-Codes und andere Mittel eines Auslegens von Code zum Ausführen der Aufgaben gemäß der Erfindung werden jedoch nicht von dem Geist und Umfang der Erfindung abweichen.
Die Erfindung kann in anderen spezifischen Formen ausgeführt werden, ohne von ihrem Geist oder essenziellen Eigenschaften abzuweichen. Die beschriebenen Beispiele sind in allen Aspekten nur als darstellend und nicht einschränkend zu betrachten. Der Umfang der Erfindung wird deshalb eher durch die angehängten Ansprüche angezeigt als durch die vorstehende Beschreibung. Alle Änderungen, welche in die Bedeutung und den Umfang einer Äquivalenz der Ansprüche fallen, sind innerhalb ihres Umfangs einzubeziehen.

Claims

Verfahren für eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei das Verfahren aufweist: Empfangen einer Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen korrespondieren, die an die Rahmengrenze angrenzen; Auffüllen eines aufgefüllten Bereichs außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwendet, wobei mindestens eine Grenzwürfelfläche in dem einen Würfelflächenrahmen einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist; und Codieren oder Verarbeiten eines aktuellen Würfelflächenrahmens unter Verwendung des aufgefüllten Würfelflächenrahmens; wobei eine erweiterte Zielwürfelfläche, die ein oder mehrere Grenzwürfelflächenkanten mit einer oder mehreren korrespondierenden Grenzwürfelflächen teilt, verwendet wird, um einen korrespondierenden aufgefüllten Bereich für eine Zielseite der korrespondierenden Grenzwürfelfläche herzuleiten, und wobei die eine oder die mehreren Grenzwürfelflächenkanten mit der Zielseite der korrespondierenden Grenzwürfelfläche ausgerichtet sind; wobei die erweiterte Zielwürfelfläche in mehrere Regionen unterteilt wird und jede Region eine Würfelflächenkante der erweiterten Zielwürfelfläche aufweist, und wobei jede Region verwendet wird, um eine korrespondierende aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine gleiche Würfelflächenkante mit der jeweiligen Region teilt; und wobei, wenn eine Gesamtzahl von unterschiedlichen Würfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, drei ist: die erweiterte Zielwürfelfläche in ein erstes Dreieck und zwei zweite Dreiecke unterteilt wird, wobei das erste Dreieck zu einem gleichschenkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer Länge einer Würfelflächenkante ist; jedes zweite Dreieck zu einem rechtwinkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine lange, an einen rechten Winkel angrenzende Seite aufweist, und eine Länge einer kurzen, an den rechten Winkel angrenzenden Seite gleich einer Hälfte der Länge einer Würfelflächenkante ist, wobei das zweite Dreieck eine zweite Höhe aufweist, die gleich einer Hälfte der Länge einer Würfelflächenkante ist, wenn die lange angrenzende Seite als eine Basisseite betrachtet wird, um eine aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine Würfelflächenkante teilt; und die erste Höhe und die zweite Höhe sind so angepasst, dass sie gleich sind; oder wobei, wenn eine Gesamtzahl von unterschiedlichen Grenzwürfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, vier ist: die erweiterte Zielwürfelfläche in vier gleichgroße gleichschenklige Dreiecke unterteilt wird, wobei jedes Dreieck eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer halben Länge einer Würfelflächenkante ist.
Verfahren für eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei das Verfahren aufweist: Empfangen einer Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen korrespondieren, die an die Rahmengrenze angrenzen; Auffüllen eines aufgefüllten Bereichs außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwendet, wobei mindestens eine Grenzwürfelfläche in dem einen Würfelflächenrahmen einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist; und Codieren oder Verarbeiten eines aktuellen Würfelflächenrahmens unter Verwendung des aufgefüllten Würfelflächenrahmens; wobei, wenn eine erweiterte Würfelfläche verwendet wird, um einen leeren Bereich oder einen leeren Teilbereich zu füllen, ein Alpha-Blending entlang zweier benachbarter, geteilter Würfelflächenkanten eingesetzt wird.
Verfahren gemäß Anspruch 1 oder 2, wobei der eine Würfelflächenrahmen zu einer 1x6-Würfelanordnung, einer 2x3-Würfelanordnung, einer 3x2-Würfelanordnung oder einem Würfelnetz mit leeren Bereichen korrespondiert.
Verfahren gemäß Anspruch 1 oder 2, wobei das Codieren des aktuellen Würfelflächenrahmens eine Inter-Prädiktion verwendet und der eine Würfelflächenrahmen zu einem Referenzwürfelflächenrahmen korrespondiert, der vor dem aktuellen Würfelflächenrahmen codiert worden ist.
Verfahren gemäß Anspruch 1 oder 2, wobei, wenn ein aktueller Block in dem aktuellen Würfelflächenrahmen unter Verwendung einer Inter-Prädiktion codiert wird und ein Bewegungsvektor des aktuellen Blocks zu Referenzpixeln außerhalb des aufgefüllten Würfelflächenrahmens zeigt, die Referenzpixel außerhalb des aufgefüllten Würfelflächenrahmens von einem oder mehreren Grenzpixeln des aufgefüllten Würfelflächenrahmens nachgebildet werden.
Verfahren gemäß Anspruch 1 oder 2, wobei für eine Zielgrenzwürfelflächenkante eine erweiterte Würfelfläche, die die Zielgrenzwürfelflächenkante mit einer korrespondierenden Grenzwürfelfläche teilt, in einen korrespondierenden aufgefüllten Bereich für die korrespondierende Grenzwürfelfläche kopiert wird.
Verfahren gemäß Anspruch 6, wobei, wenn ein oder mehrere Eckbereiche an Ecken des aufgefüllten Bereichs keine korrespondierende Grenzwürfelfläche aufweist, um aufgefüllte Daten herzuleiten, eine oder mehrere benachbarte Grenzwürfelflächen verwendet werden, um Pixeldaten in einem Eckbereich herzuleiten.
Verfahren gemäß Anspruch 7, wobei eine linienbasierte Auffüllung, eine kreisbasierte Auffüllung, eine punktbasierte Auffüllung oder eine bereichsbasierte Auffüllung verwendet wird, um die Pixeldaten in einer Ecke des aufgefüllten Bereichs herzuleiten.
Verfahren gemäß Anspruch 7, wobei, wenn eine linienbasierte Auffüllung verwendet wird, einer Linie, die zwei korrespondierende Grenzpixel von zwei benachbarten Würfelflächen eines Eckbereichs verbindet, ein gleicher Pixelwert zugewiesen wird.
Verfahren gemäß Anspruch 7, wobei, wenn eine kreisbasierte Auffüllung verwendet wird, einer kreisförmigen Kurve, die zwei korrespondierende Grenzpixel von zwei benachbarten Würfelflächen eines Eckbereichs verbindet, ein gleicher Pixelwert zugewiesen wird, und wobei der gleiche Pixelwert zu einem Pixelwert eines der zwei korrespondierenden Grenzpixel oder einer gewichteten Summe der zwei korrespondierenden Grenzpixel korrespondiert.
Verfahren gemäß Anspruch 7, wobei, wenn eine punktbasierte Auffüllung verwendet wird, einem Eckbereich ein gleicher Pixelwert zugewiesen wird, der zu einem Pixelwert eines Eckpixels oder eines anderen Pixels in zwei benachbarten Würfelflächen des einen Eckbereichs korrespondiert.
Verfahren gemäß Anspruch 11, wobei der Pixelwert zu einem Grenzpixel nach einem Filtern korrespondiert.
Verfahren gemäß Anspruch 6, wobei, wenn eine bereichsbasierte Auffüllung verwendet wird, ein Eckbereich unter Verwendung einer von zwei benachbarten Würfelflächen des einen Eckbereichs gefüllt wird, oder der eine Eckbereich in zwei Untereckbereiche geteilt und mit korrespondierenden Unterwürfelflächen der zwei benachbarten Würfelflächen gefüllt wird.
Verfahren gemäß Anspruch 1, wobei Höhen der mehreren Regionen, gemessen von der Rahmengrenze, angepasst sind, eine gleiche Höhe zu sein.
Verfahren gemäß Anspruch 1, wobei eine leere Region zwischen zwei aufgefüllten Regionen durch Verwenden einer Interpolation von zwei korrespondierenden Grenzpixeln der zwei aufgefüllten Regionen oder durch Verwenden eines gleichen Werts entlang jeder Linie, die zwei korrespondierende Grenzpixel der zwei aufgefüllten Regionen verbindet, gefüllt wird, und wobei der gleiche Wert zu einem von zwei Pixelwerten zweier Grenzpixel der zwei aufgefüllten Regionen korrespondiert.
Verfahren gemäß Anspruch 1, wobei ein Eckbereich, der an eine erweiterte Würfelfläche und eine aufgefüllte Region, die durch eine Region der erweiterten Zielwürfelfläche gefüllt ist, angrenzt, unter Verwendung einer linienbasierten Auffüllung, einer kreisbasierten Auffüllung oder einer punktbasierten Auffüllung gemäß Grenzpixeln oder einem Eckpixel einer oder mehrerer benachbarter Würfelflächen gefüllt wird.
Verfahren gemäß Anspruch 1 oder 2, wobei, wenn der Würfelflächenrahmen zu einem Würfelnetz mit leeren Bereichen korrespondiert, mindestens ein leerer Bereich unter Verwendung einer erweiterten Würfelfläche aufgefüllt wird.
Verfahren gemäß Anspruch 17, wobei für einen Zielblock in einer Zielgrenzwürfelfläche, die codiert oder verarbeitet wird, die eine erweiterte Würfelfläche verwendet wird, um den mindestens einen leeren Bereich zu füllen, wobei die eine erweiterte Würfelfläche so ausgewählt wird, dass sie eine gleiche Würfelflächenkante mit der Zielgrenzwürfelfläche teilt.
Verfahren gemäß Anspruch 17, wobei der eine leere Bereich in mehrere leere Regionen unterteilt wird und jede leere Region unter Verwendung einer korrespondierenden Grenzwürfelfläche aufgefüllt wird, die eine Würfelkante mit der jeweiligen leeren Regionen teilt.
Verfahren gemäß Anspruch 19, wobei eine korrespondierende Region der einen korrespondierenden Grenzwürfelfläche verwendet wird, um die jeweilige leere Region zu füllen.
Verfahren gemäß Anspruch 2, wobei ein Gewichtungsfaktor für ein Alpha-Blending gemäß lotrechten Abständen zu einem Startpunkt einer Erweiterung bestimmt wird.
Verfahren gemäß Anspruch 1 oder 2, weiter aufweisend ein Signalisieren oder Analysieren einer oder mehrerer Auffüllarten, die jedem Auffüllbereich oder jeder Auffüllregion zugewiesen sind.
Verfahren gemäß Anspruch 22, wobei Auffüllarten für benachbarte Würfelflächen bestimmt werden, und eine aktuelle Auffüllart für eine aktuelle Würfelfläche nur signalisiert oder analysiert wird, wenn die aktuelle Auffüllart unklar ist.
Vorrichtung für eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Vorrichtung eine oder mehrere Elektronikkomponenten oder Prozessoren aufweist, die eingerichtet sind zum: Empfangen einer Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen korrespondieren, die an die Rahmengrenze angrenzen; Auffüllen eines aufgefüllten Bereichs außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwendet, wobei mindestens eine Grenzwürfelfläche einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist; und Codieren oder Verarbeiten eines aktuellen Würfelflächenrahmens unter Verwendung des aufgefüllten Würfelflächenrahmens; wobei eine erweiterte Zielwürfelfläche, die ein oder mehrere Grenzwürfelflächenkanten mit einer oder mehreren korrespondierenden Grenzwürfelflächen teilt, verwendet wird, um einen korrespondierenden aufgefüllten Bereich für eine Zielseite der korrespondierenden Grenzwürfelfläche herzuleiten, und wobei die eine oder die mehreren Grenzwürfelflächenkanten mit der Zielseite der korrespondierenden Grenzwürfelfläche ausgerichtet sind; wobei die erweiterte Zielwürfelfläche in mehrere Regionen unterteilt wird und jede Region eine Würfelflächenkante der erweiterten Zielwürfelfläche aufweist, und wobei jede Region verwendet wird, um eine korrespondierende aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine gleiche Würfelflächenkante mit der jeweiligen Region teilt; und wobei, wenn eine Gesamtzahl von unterschiedlichen Würfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, drei ist: die erweiterte Zielwürfelfläche in ein erstes Dreieck und zwei zweite Dreiecke unterteilt wird, wobei das erste Dreieck zu einem gleichschenkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer Länge einer Würfelflächenkante ist; jedes zweite Dreieck zu einem rechtwinkligen Dreieck korrespondiert, das eine Grenzwürfelflächenkante als eine lange, an einen rechten Winkel angrenzende Seite aufweist, und eine Länge einer kurzen, an den rechten Winkel angrenzenden Seite gleich einer Hälfte der Länge einer Würfelflächenkante ist, wobei das zweite Dreieck eine zweite Höhe aufweist, die gleich einer Hälfte der Länge einer Würfelflächenkante ist, wenn die lange angrenzende Seite als eine Basisseite betrachtet wird, um eine aufgefüllte Region für eine Grenzwürfelfläche zu füllen, die eine Würfelflächenkante teilt; und die erste Höhe und die zweite Höhe sind so angepasst, dass sie gleich sind; oder wobei, wenn eine Gesamtzahl von unterschiedlichen Grenzwürfelflächenkanten, die zwischen der einen oder den mehreren korrespondierenden Grenzwürfelflächen und der erweiterten Zielwürfelfläche geteilt werden, vier ist: die erweiterte Zielwürfelfläche in vier gleichgroße gleichschenklige Dreiecke unterteilt wird, wobei jedes Dreieck eine Grenzwürfelflächenkante als eine Basisseite aufweist und eine erste Höhe des gleichschenkligen Dreiecks aufweist, die gleich einer halben Länge einer Würfelflächenkante ist.
Vorrichtung für eine Video-Codierung oder -Verarbeitung für eine Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Vorrichtung eine oder mehrere Elektronikkomponenten oder Prozessoren aufweist, die eingerichtet sind zum: Empfangen einer Bildsequenz, die zu einem Virtual-Reality- (VR-) Video korrespondiert, wobei die Bildsequenz Würfelflächenrahmen aufweist und jeder Würfelflächenrahmen mehrere Würfelflächen von Oberflächen eines Würfels aufweist, und wobei eine Rahmengrenze für jeden Würfelflächenrahmen mehrere Grenzwürfelflächenkanten aufweist, die zu mehreren Grenzwürfelflächen korrespondieren, die an die Rahmengrenze angrenzen; Auffüllen eines aufgefüllten Bereichs außerhalb einer Würfelflächenrahmengrenze eines Würfelflächenrahmens, um einen aufgefüllten Würfelflächenrahmen zu bilden, der eine oder mehrere erweiterte Würfelflächen verwendet, wobei mindestens eine Grenzwürfelfläche einen aufgefüllten Bereich aufweist, der Pixeldaten verwendet, die von einer erweiterten Würfelfläche in einem gleichen Würfelflächenrahmen hergeleitet werden, und wobei die eine erweiterte Würfelfläche eine zu der mindestens einen Grenzwürfelfläche verschiedene Würfelfläche ist; und Codieren oder Verarbeiten eines aktuellen Würfelflächenrahmens unter Verwendung des aufgefüllten Würfelflächenrahmens; wobei, wenn eine erweiterte Würfelfläche verwendet wird, um einen leeren Bereich oder einen leeren Teilbereich zu füllen, ein Alpha-Blending entlang zweier benachbarter, geteilter Würfelflächenkanten eingesetzt wird.