DE112018002432T5

DE112018002432T5 - Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen

Info

Publication number: DE112018002432T5
Application number: DE112018002432.6T
Authority: DE
Inventors: Jian-Liang Lin; Peng Wang; Ya-Hsuan Lee; Hung-Chih Lin; Shen-Kai Chang
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2017-08-18
Filing date: 2018-08-17
Publication date: 2020-01-23
Also published as: TW201921917A; US20200234399A1; WO2019034131A1; CN111034191A; US11494870B2; TWI681662B

Abstract

Ein beispielhaftes Videoverarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel gemäß einer Pyramidenprojektion; Erzeugen mindestens eines Auffüllbereichs; und Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in eine Pyramidenprojektionsanordnung. Die Projektionsflächen, die in der Pyramidenprojektionsanordnung gepackt sind, weisen eine erste Projektionsfläche auf. Der mindestens eine Auffüllbereich, der in der Pyramidenprojektionsanordnung gepackt ist, weist einen ersten Auffüllbereich auf. Der erste Auffüllbereich berührt mindestens die erste Projektionsfläche und bildet mindestens einen Teil eines Rands der Pyramidenprojektionsanordnung.

Description

Querverweis auf verwandte Anwendungen
Diese Anmeldung beansprucht die Priorität der vorläufigen U.S.-Anmeldung Nr. 62/547,126 , eingereicht am 18.08.2017, und der vorläufigen U.S.-Anmeldung Nr. 62/563,787 , eingereicht am 27.09.2017. Die gesamten Inhalte der verwandten Anmeldungen, die die vorläufige U.S.-Anmeldung Nr. 62/547,126 und die vorläufige U.S.-Anmeldung Nr. 62/563,787 einschließen, sind hier durch Bezugnahme eingeschlossen.
Hintergrund
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten eines Rundum-Bild/Video-Inhalts und genauer auf ein Verfahren und eine Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen.
Virtual Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) gehört zu einer Vielfalt von Anwendungen. Die Möglichkeit, einem Anwender ein weites Feld eines Ansichtsinhalts zu zeigen, kann verwendet werden, um eindringliche visuelle Erlebnisse bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was in einem Rundum-Bild/Video-Inhalt resultiert, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die für ein Repräsentieren eines solchen 360-Grad-Bild/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Datenkomprimierung/-Codierung entscheidend für eine Bitratenreduzierung.
Allgemein wird der Rundum-Bild/Video-Inhalt, der zu der Kugel korrespondiert, in eine Folge von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild/Video-Inhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Folge der projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Wenn die eingesetzte 360-VR-Projektionsanordnung nicht geeignet ausgelegt ist, ist es möglich, dass Artefakte durch ein Codieren der projektionsbasierten Rahmen und/oder eine Projektionsanordnungskonvertierung des projektionsbasierten Rahmens eingeführt werden, was somit zu einer Bildqualitätsverschlechterung führt.
Zusammenfassung
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren und eine Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen zur Verfügung zu stellen.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel gemäß einer Pyramidenprojektion; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; und Generieren eines projektionsbasierten Rahmens durch Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in eine Pyramidenprojektionsanordnung, wobei die Projektionsflächen, die in die Pyramidenprojektionsanordnung gepackt sind, eine erste Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in die Pyramidenprojektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich mindestens die erste Projektionsfläche berührt und mindestens einen Teil eines Rands der Pyramidenprojektionsanordnung bildet.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer 360-Grad-Virtual-Reality- (360-VR-) Projektion, wobei die Projektionsflächen eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen und es eine Bildinhaltskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; Generieren mindestens eines Auffüllbereichs durch eine Auffüllschaltung, wobei der mindestens eine Auffüllbereich einen ersten Auffüllbereich aufweist; und Kombinieren des mindestens einen Auffüllbereichs und der Projektionsflächen, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche zum Isolieren der einen Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche berührt.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Videoverarbeitungsverfahren offenbart. Das beispielhafte Videoverarbeitungsverfahren umfasst: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel, wobei die Projektionsflächen eine erste Projektionsfläche, die zu einer Hauptansicht korrespondiert, und mindestens eine zweite Projektionsfläche, die zu einer Ansicht, die nicht die Hauptansicht ist, korrespondiert, aufweisen; und Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen in eine viewport-basierten Projektionsanordnung und Anwenden einer Glättungsfilterung auf mindestens einen Teil der mindestens einen zweiten Projektionsfläche.
Diese und andere Aufgaben der vorliegenden Erfindung werden zweifellos für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach einem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform offenbar, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist.
Figurenliste

1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
3 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung mit einer Randauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
5 ist ein Diagramm, das Randauffüllungsbereiche, die durch eine Pixelduplizierung generiert werden, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
6 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
7 ist ein Diagramm, das eine horizontale Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
8 ist ein Diagramm, das eine vertikale Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
9 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
10 ist ein Diagramm, das eine Mehrzahl von Objekten jeweils über eine Kante zwischen zwei kontinuierlichen Projektionsflächen, die in die in 3 gezeigte viewport-basierte Pyramidenprojektionsanordnung gepackt sind, darstellt.
11 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
12 ist ein Diagramm, das eine äquatorialzylindrische Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
13 ist ein Diagramm, das eine Tetraeder-Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
14 ist ein Diagramm, das eine Oktaeder-Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
15 ist ein Diagramm, das eine Würfelabbildungsprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
16 ist ein Diagramm, das eine Abgeschnitten-Quadratische-Pyramidenprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
17 ist ein Diagramm, das eine viewport-basierte Würfelprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
18 ist ein Diagramm, das eine andere viewport-basierte Pyramidenprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
19 ist ein Diagramm, das ein viertes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
20 ist ein Diagramm, das eine Projektionsanordnungskonvertierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
21 ist ein Diagramm, das ein fünftes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
22 ist ein Diagramm, das eine Verteilung von Längengradlinien und Breitengradlinien in einer viewport-basierten Pyramidenprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
23 ist ein Diagramm, das eine erste Partitionierungsauslegung eines Teilbilds der Ansicht, die keine Hauptansicht ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
24 ist ein Diagramm, das eine zweite Partitionierungsauslegung eines Teilbilds der Ansicht, die keine Hauptansicht ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
25 ist ein Diagramm, das eine viewport-basierte Projektionsanordnung, die von einer ERP-Anordnung hergeleitet ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.

Detaillierte Beschreibung
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden innerhalb der nachfolgenden Beschreibung und Ansprüche verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Elektronikausrüstungshersteller durch unterschiedliche Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, welche sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet und sollten somit so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf...“ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
1 ist ein Diagramm, das ein erstes 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Videoverarbeitungsvorrichtungen (z.B. eine Quellenelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellenelektronikvorrichtung 102 weist eine Videoaufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Zum Beispiel kann die Videoaufnahmevorrichtung 112 ein Satz von Kameras sein, der verwendet wird, um einen Rundum-Bild/Video-Inhalt (z.B. mehrere Bilder, welche eine gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Videoaufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG mit einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung L_VR gemäß dem Rundum-Bild/Video-Inhalt S_IN. Der projektionsbasierte Rahmen IMG kann ein Rahmen sein, der in einer Folge von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungsschaltung, die verwendet wird, um den projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Folge von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
Die Zielelektronikvorrichtung 104 kann eine am Kopf befestigte Anzeigevorrichtung (HMD) sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 eine Decodierungsschaltung 122, eine Graphikwiedergabeschaltung 124 und einen Anzeigebildschirm 126 auf. Die Decodierungsschaltung 122 empfängt den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. einer drahtgebundenen/drahtlosen Kommunikationsverbindung oder einem Speichermedium) und führt eine Video-Decodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um einen decodierten Rahmen IMG' zu generieren. Zum Beispiel generiert die Decodierungsschaltung 122 eine Folge von decodierten Rahmen durch ein Decodieren des empfangenen Bitstroms BS, wobei der decodierte Rahmen IMG' ein Rahmen ist, der in der Folge von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der auf der Codiererseite durch den Video-Codierer 116 zu codierende projektionsbasierte Rahmen IMG ein 360-VR-Projektionsformat mit einer Projektionsanordnung auf. Daher weist, nachdem der Bitstrom BS auf der Decodiererseite durch die Decodierungsschaltung 122 decodiert worden ist, der decodierte Rahmen IMG' das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung auf. Mit anderen Worten ist der decodierte Rahmen IMG' ein decodierter projektionsbasierter Rahmen, der die gleiche 360-VR-Projektionsanordnung L_VR aufweist, die durch die Konvertierungsschaltung 114 eingesetzt wird. Die Graphikwiedergabeschaltung 124 ist zwischen der Decodierungsschaltung 122 und dem Anzeigebildschirm 126 angeschlossen. Die Graphikwiedergabeschaltung 124 gibt Ausgangsbilddaten gemäß dem decodierten Rahmen IMG' wieder und zeigt sie auf dem Anzeigebildschirm 126 an. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild-/Video-Inhalts gehört, der durch den decodierten Rahmen IMG' übertragen wird, über die Graphikwiedergabeschaltung 124 auf dem Anzeigebildschirm 126 angezeigt werden.
In dieser Ausführungsform kann die 360-VR-Projektionsanordnung L_VR eine Pyramidenprojektionsanordnung mit einer Randauffüllung sein. 2 ist ein Diagramm, das eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 3 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Gemäß einer beispielhaften Pyramidenprojektionsart liegt eine Pyramide 204 vollständig innerhalb einer Kugel 202, wobei die Pyramide 204 aus einer Basis 206 und einer Mehrzahl von Seitenprojektionsflächen 208 besteht. In diesem Beispiel ist eine Form der Basis 206 ein Quadrat, und eine Form jeder der Seitenprojektionsflächen 208 ist ein Dreieck. Ein Rundum-Bild/Video-Inhalt der Kugel 202 wird auf die Basis 206 und die Seitenprojektionsflächen 208 der Pyramide 204 abgebildet/projiziert, was in fünf Projektionsflächen resultiert, die eine Basisprojektionsfläche (gekennzeichnet durch „FR“) und vier Seitenprojektionsflächen (gekennzeichnet durch „U“, „L“, „B“ und „R“) einschließen.
Wie in dem oberen Teil von 3 gezeigt, ist eine Form der Basisprojektionsfläche FR ein Quadrat, und eine Form jeder der Seitenprojektionsflächen U, L, B und R ist ein Dreieck. Zusätzlich sind die Basisprojektionsfläche FR und die Seitenprojektionsflächen U, L, B und R in einer Pyramidenprojektionsanordnung 300 angeordnet, die zu einer entfalteten Pyramide korrespondiert, sodass die Seitenprojektionsflächen U, L, B und R jeweils eine der vier Seiten/Kanten der Basisprojektionsfläche FR berühren. Es sollte beachtet werden, dass eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche U und der Basisprojektionsfläche FR existiert, eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche L und der Basisprojektionsfläche FR existiert, eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche B und der Basisprojektionsfläche FR existiert und eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche R und der Basisprojektionsfläche FR existiert. Die Breite jeder Seitenprojektionsfläche U/B/L/R (d.h. die Länge einer Basis eines Dreiecks) ist W, und die Höhe jeder Seitenprojektionsfläche U/B/L/R (d.h. der Abstand von der Spitze des Dreiecks zu der Basis des Dreiecks) ist H. Es sollte beachtet werden, dass die Breite W jeder Seitenprojektionsfläche U/B/L/R gleich der Kantenlänge der Basisprojektionsfläche FR ist.
Die viewport-basierte Pyramidenprojektionsanordnung 302 kann von der Pyramidenprojektionsanordnung 300 mit einer Projektionsflächenwiederabtastung (z.B. einem Projektionsflächen-Down-Scaling) abgeleitet werden. Wie in dem mittleren Teil von 3 gezeigt, ist eine Seitenprojektionsfläche U' eine erneut abgetastete Projektionsfläche, die durch ein Wiederabtasten (z.B. Down-Scaling) der Seitenprojektionsfläche U in ihrer Höhenrichtung mit einem vordefinierten Wiederabtastfaktor s (s = H/h) erhalten wird, ist eine Seitenprojektionsfläche B' eine erneut abgetastete Projektionsfläche, die durch ein Wiederabtasten (z.B. Down-Scaling) der Seitenprojektionsfläche B in ihrer Höhenrichtung mit dem vordefinierten Wiederabtastfaktor s (s = H/h) erhalten wird, ist eine Seitenprojektionsfläche L' eine erneut abgetastete Projektionsfläche, die durch ein Wiederabtasten (z.B. Down-Scaling) der Seitenprojektionsfläche L in ihrer Höhenrichtung mit dem vordefinierten Wiederabtastfaktor s (s = H/h) erhalten wird, und ist eine Seitenprojektionsfläche R' eine erneut abgetastete Projektionsfläche, die durch ein Wiederabtasten (z.B. Down-Scaling) der Seitenprojektionsfläche R in ihrer Höhenrichtung mit dem vordefinierten Wiederabtastfaktor s (s = H/h) erhalten wird. Das Wiederabtasten kann durch eine gleichförmige Abbildung oder eine ungleichförmige Abbildung ausgeführt werden, abhängig von den tatsächlichen Auslegungsüberlegungen.
In diesem Beispiel ist eine Form der Basisprojektionsfläche FR ein Quadrat und eine Form jeder der Seitenprojektionsflächen U', B', L' und R' ist ein rechtwinkliges Dreieck. Insbesondere weist die Basisprojektionsfläche FR vier Seiten S11, S12, S13 und S14 auf; weist die Seitenprojektionsfläche U' eine Hypotenuse S21 und zwei Katheten (Schenkel) S22 und S23 auf; weist die Seitenprojektionsfläche L' eine Hypotenuse S31 und zwei Katheten (Schenkel) S32 und S33 auf; weist die Seitenprojektionsfläche B' eine Hypotenuse S41 und zwei Katheten (Schenkel) S42 und S43 auf; und weist die Seitenprojektionsfläche R' eine Hypotenuse S51 und zwei Katheten (Schenkel) S52 und S53 auf.
Weiter korrespondiert die Basisprojektionsfläche FR in der Pyramidenprojektionsanordnung 300 zu einem Anwender-Viewport (d.h. einer Hauptansicht) und kann direkt als eine Basisprojektionsfläche verwendet werden, die von der viewport-basierten Pyramidenprojektionsanordnung 302 benötigt wird. Die Basisprojektionsfläche FR (welche eine quadratische Projektionsfläche ist, die zu einer Hauptansicht korrespondiert) und die vier Seitenprojektionsflächen U', B', L' und R' (welche rechtwinklig-dreieckig geformte Projektionsflächen sind, die zu einer Ansicht korrespondieren, die keine Hauptansicht ist), werden in die viewport-basierten Pyramidenprojektionsanordnung 302 gepackt. Wie in dem unteren Teil von 3 gezeigt, berührt die Hypotenuse S51 der Seitenprojektionsfläche R' die Seite S14 der Basisprojektionsfläche FR, berührt die Kathete S52 der Seitenprojektionsfläche R' die Kathete S23 der Seitenprojektionsfläche U', berührt die Kathete S53 der Seitenprojektionsfläche R' die Kathete S42 der Seitenprojektionsfläche B', berührt die Kathete S33 der Seitenprojektionsfläche L' die Kathete S22 der Seitenprojektionsfläche U', und berührt die Kathete S32 der Seitenprojektionsfläche L' die Kathete S43 der Seitenprojektionsfläche B'.
Wie vorstehend erwähnt, korrespondiert die Pyramidenprojektionsanordnung 300 zu einer entfalteten Pyramide, wobei eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche U und der Basisprojektionsfläche FR existiert, eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche L und der Basisprojektionsfläche FR existiert, eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche B und der Basisprojektionsfläche FR existiert und eine Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche R und der Basisprojektionsfläche FR existiert. Da die Seitenprojektionsfläche U' eine erneut abgetastete Version der Seitenprojektionsfläche U ist, die Seitenprojektionsfläche B' eine erneut abgetastete Version der Seitenprojektionsfläche B ist, die Seitenprojektionsfläche L' eine erneut abgetastete Version der Seitenprojektionsfläche L ist und die Seitenprojektionsfläche R' eine erneut abgetastete Version der Seitenprojektionsfläche R ist, existiert eine Bildinhaltskontinuitätskante zwischen der Hypotenuse S51 der Seitenprojektionsfläche R' und der Seite S14 der Basisprojektionsfläche FR, existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S52 der Seitenprojektionsfläche R' und der Kathete S23 der Seitenprojektionsfläche U', existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S53 der Seitenprojektionsfläche R' und der Kathete S42 der Seitenprojektionsfläche B', existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S33 der Seitenprojektionsfläche L' und der Kathete S22 der Seitenprojektionsfläche U' und existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S32 der Seitenprojektionsfläche L' und der Kathete S43 der Seitenprojektionsfläche B'.
Verglichen mit der Pyramidenprojektionsanordnung 300 ist die viewport-basierte Pyramidenprojektionsanordnung 302 aufgrund der Tatsache, dass eine Form der viewport-basierten Pyramidenprojektionsanordnung 302 ein Rechteck ist, kompakter. Auf diese Weise wird eine kompakte viewport-basierte Pyramidenprojektionsanordnung erzielt und kann von dem projektionsbasierten Rahmen IMG verwendet werden, um die Verwendung von Füllbereichen (z.B. schwarzen Bereichen, grauen Bereichen oder weißen Bereichen) in dem projektionsbasierten Rahmen IMG zu vermeiden. Weiter wird der 360-Grad-Bild/Video-Inhalt in der Basisprojektionsfläche FR und den Seitenprojektionsflächen U', B', L' und R' kontinuierlich ohne Bildinhaltsdiskontinuität repräsentiert. Das heißt, es gibt keine Bildinhaltsdiskontinuitätskante, die durch ein Packen von Projektionsflächen verursacht wird. Auf diese Weise wird die Codierungseffizienz durch die viewport-basierte Pyramidenprojektionsanordnung 302 nicht verschlechtert.
Der projektionsbasierte Rahmen IMG kann jedoch nach einem Codieren aufgrund von diskontinuierlichen Rändern der viewport-basierten Pyramidenprojektionsanordnung 302 Artefakte aufweisen. Wie in 3 gezeigt, existiert eine Bildinhaltskontinuitätskante zwischen der Basisprojektionsfläche FR und der Seitenprojektionsfläche U in der Pyramidenprojektionsanordnung 300 nicht in der viewport-basierten Pyramidenprojektionsanordnung 302, sodass die Seite S11 der Basisprojektionsfläche FR und die Hypotenuse S21 der Seitenprojektionsfläche U' einen diskontinuierlichen oberen Rand der viewport-basierten Pyramidenprojektionsanordnung 302 bilden. Ähnlich existiert eine Bildinhaltskontinuitätskante zwischen der Basisprojektionsfläche FR und der Seitenprojektionsfläche L in der Pyramidenprojektionsanordnung 300 nicht in der viewport-basierten Pyramidenprojektionsanordnung 302, sodass die Seite S12 der Basisprojektionsfläche FR einen diskontinuierlichen linken Rand der viewport-basierten Pyramidenprojektionsanordnung 302 bildet und die Hypotenuse S31 der Seitenprojektionsfläche L' einen diskontinuierlichen rechten Rand der viewport-basierten Pyramidenprojektionsanordnung 302 bildet; und eine Bildinhaltskontinuitätskante zwischen der Basisprojektionsfläche FR und der Seitenprojektionsfläche B in der Pyramidenprojektionsanordnung 300 existiert nicht in der viewport-basierten Pyramidenprojektionsanordnung 302, sodass die Seite S13 der Basisprojektionsfläche FR und die Hypotenuse S41 der Seitenprojektionsfläche B' einen diskontinuierlichen unteren Rand der viewport-basierten Pyramidenprojektionsanordnung 302 bilden.
Um das vorstehende Problem zu adressieren, schlägt die vorliegende Erfindung eine innovative Pyramidenprojektionsanordnungsauslegung mit einer Randauffüllung vor, welche in der Lage ist, Artefakte an Rändern einer Pyramidenprojektionsanordnung (z.B. einer viewport-basierten Pyramidenprojektionsanordnung 302) nach einem Codieren zu reduzieren. Zum Beispiel empfängt die Konvertierungsschaltung 114 einen Rundum-Bild/Video-Inhalt der Kugel 202 von der Videoaufnahmevorrichtung 112 und erhält eine Mehrzahl von Projektionsflächen (z.B. die Basisprojektionsfläche FR und die Seitenprojektionsflächen U', B', L', R') von dem Rundum-Bild/Video-Inhalt der Kugel 202 gemäß einer Pyramidenprojektion. Wie in 1 gezeigt, weist die Konvertierungsschaltung 114 eine Auffüllschaltung 115 auf, welche eingerichtet ist, mindestens einen Auffüllbereich zu generieren. Die Konvertierungsschaltung 114 erzeugt den projektionsbasierten Rahmen IMG durch ein Packen der Projektionsflächen (z.B. der Basisprojektionsfläche FR und der Seitenprojektionsflächen U', B', L', R') und mindestens eines Auffüllbereichs (z.B. vier Auffüllbereiche) in eine vorgeschlagene Pyramidenprojektionsanordnung mit einer Randauffüllung. Zum Beispiel weisen die Projektionsflächen, die in die vorgeschlagene Pyramidenprojektionsanordnung mit einer Randauffüllung gepackt sind, eine erste Projektionsfläche auf. Der mindestens eine Auffüllbereich, der in die vorgeschlagene Pyramidenprojektionsanordnung gepackt ist, weist einen ersten Auffüllbereich auf. Der erste Auffüllbereich berührt mindestens die erste Projektionsfläche und bildet mindestens einen Teil (d.h., einen Teil oder alles) eines Rands der vorgeschlagenen Pyramidenprojektionsanordnung.
4 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung mit einer Randauffüllung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 verwendet wird, kann durch die in 4 gezeigte vorgeschlagene Pyramidenprojektionsanordnung 400 festgelegt sein. Die Auffüllschaltung 115 fügt einen Auffüllbereich PR_T zu dem oberen Rand der viewport-basierten Pyramidenprojektionsanordnung 302 hinzu, fügt einen Auffüllbereich PR_B zu dem unteren Rand der viewport-basierten Pyramidenprojektionsanordnung 302 hinzu, fügt einen Auffüllbereich PR_L zu dem linken Rand der viewport-basierten Pyramidenprojektionsanordnung 302 hinzu und fügt einen Auffüllbereich PR_R zu dem rechten Rand der viewport-basierten Pyramidenprojektionsanordnung 302 hinzu. Daher bildet der hinzugefügte Auffüllbereich PR_T einen oberen Rand der viewport-basierten Pyramidenprojektionsanordnung 400, bildet der hinzugefügte Auffüllbereich PR_B einen unteren Rand der viewport-basierten Pyramidenprojektionsanordnung 400, bildet der hinzugefügte Auffüllbereich PR_L einen linken Rand der viewport-basierten Pyramidenprojektionsanordnung 400 und bildet der hinzugefügte Auffüllbereich PR_R einen rechten Rand der viewport-basierten Pyramidenprojektionsanordnung 400.
In einer ersten beispielhaften Randauffüllungsauslegung wendet die Auffüllschaltung 115 eine Geometrieauffüllung auf eine Projektionsfläche an, um Pixelwerte von Pixeln zu bestimmen, die in einem Auffüllbereich enthalten sind, welcher die Projektionsfläche berührt. Daher enthält der Auffüllbereich PR_T einen linken Geometrieabbildungsbereich und einen rechten Geometrieabbildungsbereich. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) wird auf den linken Geometrieabbildungsbereich des Auffüllbereichs PR_T abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Basisprojektionsfläche FR erhalten wird. Zusätzlich wird der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) auf den rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Seitenprojektionsfläche U' erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der Basisprojektionsfläche FR und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_T, und gibt es eine Bildinhaltskontinuität zwischen der Seitenprojektionsfläche U' und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T. Das heißt, ein Inhalt wird kontinuierlich in der Basisprojektionsfläche FR und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_T repräsentiert, und ein Inhalt wird kontinuierlich in der Seitenprojektionsfläche U' und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_T repräsentiert.
Der Auffüllbereich PR_B weist einen linken Geometrieabbildungsbereich und einen rechten Geometrieabbildungsbereich auf. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) wird auf den linken Geometrieabbildungsbereich des Auffüllbereichs PR_B abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Basisprojektionsfläche FR erhalten wird. Ähnlich wird der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) auf den rechten Geometrieabbildungsbereich des Auffüllbereichs PR_B abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Seitenprojektionsfläche B' erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der Basisprojektionsfläche FR und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_B, und gibt es eine Bildinhaltskontinuität zwischen der Seitenprojektionsfläche B' und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_B. Das heißt, ein Inhalt wird kontinuierlich in der Basisprojektionsfläche FR und dem linken Geometrieabbildungsbereich des Auffüllbereichs PR_B repräsentiert, und ein Inhalt wird kontinuierlich in der Seitenprojektionsfläche B' und dem rechten Geometrieabbildungsbereich des Auffüllbereichs PR_B repräsentiert.
Der Auffüllbereich PR_L weist einen einzelnen Geometrieabbildungsbereich auf. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) wird auf den einzelnen Geometrieabbildungsbereich des Auffüllbereichs PR_L abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Basisprojektionsfläche FR erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der Basisprojektionsfläche FR und dem Auffüllbereich PR_L. Das heißt, ein Inhalt wird kontinuierlich in der Basisprojektionsfläche FR und dem Auffüllbereich PR_L repräsentiert.
Der Auffüllbereich PR_R weist einen einzelnen Geometrieabbildungsbereich auf. Der Inhalt eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) wird auf den einzelnen Geometrieabbildungsbereich des Auffüllbereichs PR_R abgebildet, wo der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Seitenprojektionsfläche L' erhalten wird. Daher gibt es eine Bildinhaltskontinuität zwischen der Seitenprojektionsfläche L' und dem Auffüllbereich PR_R. Das heißt, ein Inhalt wird kontinuierlich in der Seitenprojektionsfläche L' und dem Auffüllbereich PR_R repräsentiert.
In einer zweiten beispielhaften Randauffüllungsauslegung legt die Auffüllschaltung 115 Pixelwerte von Pixeln, die in einem Auffüllbereich enthalten sind, durch eine Duplizierung von Pixelwerten von Pixeln fest, die in einer Projektionsfläche enthalten sind, welche den Auffüllbereich berührt. 5 ist ein Diagramm, das Randauffüllungsbereiche, die durch eine Pixelduplizierung generiert werden, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Ein Bild IMG_A wird durch eine Basisprojektionsfläche und eine Mehrzahl von Seitenprojektionsflächen repräsentiert, die in die viewport-basierte Pyramidenprojektionsanordnung 302 ohne eine Auffüllung gepackt sind. Die viewport-basierte Pyramidenprojektionsanordnung 302 weist eine obere Seite S_T, eine untere Seite S_B, eine linke Seite S_L und eine rechte Seite S_R auf. Die obere Seite S_T, die untere Seite S_B, die linke Seite S_L und die rechte Seite S_R sind vier Ränder der viewport-basierten Pyramidenprojektionsanordnung 302. Zusätzlich weist das Bild IMG_A eine Mehrzahl von Bildbereichen (gekennzeichnet durch Bezugszahlen „1“, „2“, „3“, „4“, „5“, „6“, „7“ und „8“) auf. Die Bildbereiche „1“-„3“ bilden einen Teilbereich und weisen Randpixel an der oberen Seite S_T auf. Die Bildbereiche „3“-„5“ bilden einen Teilbereich und weisen Randpixel an der rechten Seite S_R auf. Die Bildbereiche „5“-„7“ bilden einen Teilbereich und weisen Randpixel an der unteren Seite S_B auf. Die Bildbereiche „7“-„8“ und „1“ bilden einen Teilbereich und weisen Randpixel an der linken Seite S_L auf.
Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 114 eingesetzt wird, kann durch eine viewport-basierte Pyramidenprojektionsanordnung mit einer Auffüllung (z.B. die in 4 gezeigte viewport-basierte Pyramidenprojektionsanordnung 400) festgelegt sein. Wie in 5 gezeigt, wird die viewport-basierte Pyramidenprojektionsanordnung 400 von der viewport-basierten Pyramidenprojektionsanordnung 302 durch eine Pixelduplizierung abgeleitet. Ein erster Auffüllbereich, der die linke Seite S_L des Bilds IMG_A berührt (z.B. mindestens ein Teil des in 4 gezeigten Auffüllbereichs PR_L), wird durch ein Duplizieren der Bildbereiche „3“-„5“ des Bilds IMG_A generiert, ein zweiter Auffüllbereich, der die rechte Seite S_R des Bilds IMG_A berührt (z.B. mindestens ein Teil des in 4 gezeigten Auffüllbereichs PR_R), wird durch ein Duplizieren der Bildbereiche „1“, „8“ und „7“ des Bilds IMG_A generiert, ein dritter Auffüllbereich, der die obere Seite S_T des Bilds IMG_A berührt (z.B. mindestens ein Teil des Auffüllbereichs PR_T), wird durch ein Duplizieren der Bildbereiche „1“-„3“ des Bilds IMG_A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren, und ein vierter Auffüllbereich, der die untere Seite S_B des Bilds IMG_A berührt (z.B. mindestens ein Teil des Auffüllbereichs PR_B), wird durch ein Duplizieren der Bildbereiche „5“-„7“ des Bilds IMG_A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren.
Um zu erreichen, dass eine Form der viewport-basierten Pyramidenprojektionsanordnung 400 ein Rechteck wird, wird ein oberer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „1“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren, wird ein oberer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „3“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren, wird ein unterer linker Eckauffüllbereich durch ein Duplizieren des Bildbereichs „7“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren und wird ein unterer rechter Eckauffüllbereich durch ein Duplizieren des Bildbereichs „5“ generiert, um einen duplizierten Auffüllbereich zu erhalten und dann den duplizierten Auffüllbereich um 180° zu rotieren.
Wie vorstehend erwähnt, empfängt die Decodierungsschaltung 122 den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. eine drahtgebundene/drahtlose Kommunikationsverbindung oder ein Speichermedium) und führt eine Video-Decodiererfunktion zum Decodieren eines Teils des empfangenen Bitstroms BS aus, um den decodierten Rahmen IMG' zu generieren, welcher ein decodierter projektionsbasierter Rahmen ist, der die gleiche 360-VR-Projektionsanordnung L_VR aufweist, die von der Konvertierungsschaltung 114 eingesetzt wird. In einem Fall, in welchem die 360-VR-Projektionsanordnung L_VR durch eine Pyramidenprojektionsanordnung mit einer Randauffüllung (z.B. die in 4 gezeigte viewport-basierte Pyramidenprojektionsanordnung 400) festgelegt ist, weist der decodierte Rahmen IMG' Auffüllbereiche auf, die sich an Rändern der Pyramidenprojektionsanordnung befinden. In einer Ausführungsform kann die Decodierungsschaltung 122 die Auffüllbereiche beschneiden, sodass nur der Originalbereich (z.B. das in 5 gezeigte Bild IMG_A) rekonstruiert wird. In einer alternativen Auslegung kann die Decodierungsschaltung 122 so modifiziert sein, dass sie einen Auffüllbereich mit korrespondierenden Pixeln in dem Originalbereich (z.B. das in 5 gezeigte Bild IMG_A) mischt, wenn sie den Originalbereich (z.B. das in 5 gezeigte Bild IMG_A) rekonstruiert.
6 ist ein Diagramm, das ein zweites 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 100 und 600 ist, dass eine Decodierungsschaltung 622 einer Zielelektronikvorrichtung 604 eine Mischschaltung 624 aufweist, die eingerichtet ist, ein Mischen nach einem Codieren auszuführen. Die Decodierungsschaltung 622 ist eingerichtet, einen Teil des Bitstroms BS zu decodieren, um einen decodierten Rahmen (d.h., einen decodierten projektionsbasierten Rahmen) IMG' mit den Projektionsflächen (z.B. der Basisprojektionsfläche FR und den Seitenprojektionsflächen U', B', L', R', die in 4 gezeigt sind) und den Auffüllbereichen (z.B. den Auffüllbereichen PR_T, PR_B, PR_L, PR_R, die in 4 gezeigt sind) gepackt in der 360-VR-Projektionsanordnung L_VR (z.B. der viewport-basierten Pyramidenprojektionsanordnung 400, die in 4 gezeigt ist) zu generieren. Während des Decodierungsprozesses des Generierens des decodierten Rahmens IMG' rekonstruiert die Decodierungsschaltung 622 ein erstes Pixel in einer Projektionsfläche (z.B. eine der Basisprojektionsfläche FR und der Seitenprojektionsflächen U', B', L', R') unter Verwendung der Mischschaltung 624, um einen decodierten Pixelwert des ersten Pixels und einen decodierten Pixelwert eines zweiten Pixels, das in einem Auffüllbereich (z.B. einem der Auffüllbereiche PR_T, PR_B, PR_L, PR_R) enthalten ist, zu mischen. Zum Beispiel wird ein Pixelwert des zweiten Pixels, das in dem Auffüllbereich enthalten ist, der in dem projektionsbasierten Rahmen IMG gepackt ist, durch Duplizieren eines Pixelwerts des ersten Pixels, das in der Projektionsfläche enthalten ist, die in dem projektionsbasierten Rahmen IMG gepackt ist, generiert. In einer Ausführungsform kann ein abstandsbasiertes Gewichtungsschema durch die Mischschaltung 624 eingesetzt werden.
7 ist ein Diagramm, das eine horizontale Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass die Auffüllbereiche PR_T, PR_B, PR_L, PR_R, die in 4 gezeigt sind, basierend auf einer Pixelduplizierung generiert werden, wie in 5 gezeigt. Daher wird auf einer Codiererseite (z.B. die in 6 gezeigte Quellenelektronikvorrichtung 102) ein Auffüllbereich, der die linke Seite des Bilds IMG_A berührt (z.B. mindestens ein Teil des in 4 gezeigten Auffüllbereichs PR_L), durch ein Duplizieren der Bildbereiche „3“-„5“ des Bilds IMG_A generiert, und ein anderer Auffüllbereich, der die rechte Seite des Bilds IMG_A berührt (z.B. mindestens ein Teil des in 4 gezeigten Auffüllbereichs PR_R) wird durch ein Duplizieren der Bildbereiche „1“, „8“ und „7“ des Bilds IMG_A generiert. Insbesondere wird auf einer Codiererseite (z.B. die in 6 gezeigte Quellenelektronikvorrichtung 102) ein 8x8-Block, der sich an einer oberen linken Ecke des Bildbereichs „8“ befindet, der in dem Originalbereich enthalten ist, so dupliziert, dass er einen 8x8-Block festlegt, der sich an der oberen linken Ecke des Bildbereichs „8“ befindet, der in einem rechten Auffüllbereich enthalten ist. Daher können auf einer Decodiererseite (z.B. die in 6 gezeigte Zielelektronikvorrichtung 604) decodierte Pixel in dem 8x8-Block, der sich an der oberen linken Ecke des Bildbereichs „8“ befindet, der in dem Originalbereich (d.h., das Bild IMG_A) enthalten ist, mit decodierten Pixeln in dem 8x8-Block, der sich an der oberen linken Ecke des Bildbereichs „8“ befindet, der in dem rechten Auffüllbereich enthalten ist, gemischt werden. Ein rekonstruierter Pixelwert eines in 7 gezeigten Pixels „A“ kann unter Verwendung einer horizontalen abstandsbasierten Gewichtung, wie nachfolgend ausgedrückt, berechnet werden. $A_{R E C} = \frac{(M - N) * B + (M + N) * A + M}{2 * M}$
In der vorstehenden Formel (1) repräsentiert A_REC einen rekonstruierten Pixelwert eines ersten Pixels (z.B. Pixel „A“, das in 7 gezeigt ist), A repräsentiert den decodierten Pixelwert des ersten Pixels, B repräsentiert den decodierten Pixelwert eines zweiten Pixels (z.B. Pixel „B“, das in 7 gezeigt ist), M repräsentiert eine Auffüll-/Mischbreite, und N repräsentiert einen Abstand zwischen dem ersten Pixel und einem Rand der dazugehörigen Projektionsfläche, welche einen angrenzenden Auffüllbereich berührt. Wie in 7 gezeigt, wird der horizontale Abstand N durch Pixel angezeigt, die durch „1“-„3“ in dem 8×8-Block gekennzeichnet sind. In diesem Beispiel ist M=8 und N=3 für eine horizontale Mischung.
8 ist ein Diagramm, das eine vertikale Mischoperation gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Es sei angenommen, dass die in 4 gezeigten Auffüllbereiche PR_T, PR_B, PR_L, PR_R basierend auf einer Pixelduplizierung generiert werden, wie in 5 dargestellt. Daher wird auf einer Codiererseite (z.B. die in 6 gezeigte Quellenelektronikvorrichtung 102) ein Auffüllbereich, der die obere Seite S_T des Bilds IMG_A berührt (z.B. mindestens ein Teil des Auffüllbereichs PR_T) durch ein Duplizieren der Bildbereiche „1“-„3“ des Bilds IMG_A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren, und ein anderer Auffüllbereich, der die untere Seite S_B des Bilds IMG_A berührt (z.B. mindestens ein Teil des Auffüllbereichs PR_B) wird durch ein Duplizieren der Bildbereiche „5“-„7“ des Bilds IMG_A generiert, um einen duplizierten Teilbereich zu erhalten und dann den duplizierten Teilbereich um 180° zu rotieren. Insbesondere wird auf einer Codiererseite (z.B. die in 6 gezeigte Quellenelektronikvorrichtung 102) ein 8x8-Block, der sich an einer oberen linken Ecke des Bildbereichs „2“ befindet, der in dem Originalbereich (d.h., das Bild IMG_A) enthalten ist, dupliziert, um einen 8x8-Block festzulegen, der sich an einer unteren rechten Ecke des um 180° rotierten Bildbereichs „2“ befindet, der in einem oberen Auffüllbereich enthalten ist. Daher können auf einer Decodiererseite (z.B. die in 6 gezeigte Zielelektronikvorrichtung 604) decodierte Pixel in dem 8x8-Block, der sich an der oberen linken Ecke des Bildbereichs „2“ befindet, der in dem Originalbereich (d.h., das Bild IMG_A) enthalten ist, mit decodierten Pixeln in dem 8x8-Block, der sich an der unteren rechten Ecke des um 180° rotierten Bildbereichs „2“ befindet, der in dem oberen Auffüllbereich enthalten ist, gemischt werden. Ein rekonstruierter Pixelwert eines in 8 gezeigten Pixels „C“ kann unter Verwendung einer vertikalen abstandsbasierten Gewichtung, wie nachfolgend ausgedrückt, berechnet werden. $C_{R E C} = \frac{(M - N) * D + (M + N) * C + M}{2 * M}$
In der vorstehenden Formel (2) repräsentiert C_REC einen rekonstruierten Pixelwert eines ersten Pixels (z.B. das in 7 gezeigte Pixel „C“), C repräsentiert den decodierten Pixelwert des ersten Pixels, D repräsentiert den decodierten Pixelwert eines zweiten Pixels (z.B. das in 7 gezeigte Pixel „D“), M repräsentiert eine Auffüll/Misch-Breite, und N repräsentiert einen Abstand zwischen dem ersten Pixel und einem Rand der dazugehörigen Projektionsfläche, welche einen angrenzenden Auffüllbereich berührt. Wie in 7 gezeigt, wird der vertikale Abstand N durch Pixel angezeigt, die durch „1“-„5“ in dem 8x8-Block gekennzeichnet sind. In diesem Beispiel ist M=8 und N=5 für eine vertikale Mischung.
Für bestimmte Anwendungen kann eine Konvertierungsschaltung in einer Zielelektronikvorrichtung implementiert werden, um einen decodierten Rahmen mit einer ersten 360-VR-Projektionsanordnung in einen konvertierten Rahmen mit einer zweiten 360-VR-Projektionsanordnung, welche zu der ersten 360-VR-Projektionsanordnung verschieden ist, zu konvertieren. Zum Beispiel kann der decodierte Rahmen, der von einer Decodierungsschaltung generiert wird, ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in eine Pyramidenprojektionsanordnung gepackt sind, und der konvertierte Rahmen, der von der Konvertierungsschaltung generiert und von einer Graphikwiedergabeschaltung verwendet wird, kann ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in eine Äquirektangular-Projektions- (ERP-) Anordnung gepackt sind.
Ein Pixel, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in dem konvertierten Rahmen befindet, kann auf ein Pixel abgebildet werden, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in dem decodierten Rahmen befindet. Das heißt, wenn eine Projektionsanordnungskonvertierung ausgeführt wird, kann die Konvertierungsschaltung ein Pixel, das sich an einer ganzzahligen Position in dem konvertierten Rahmen befindet, durch ein Pixel, das sich an einer nichtganzzahligen Position in dem decodierten Rahmen befindet, festlegen. Da ein Pixelwert eines Pixels, das sich an einer nichtganzzahligen Position befindet, in dem decodierten Rahmen nicht direkt verfügbar ist, kann die Konvertierungsschaltung den Pixelwert des Pixels, das sich an der nichtganzzahligen Position in dem decodierten Rahmen befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Pixel zu verarbeiten, die sich an ganzzahligen Positionen in dem decodierten Rahmen befinden. In einem Fall, in welchem das Pixel mit der nichtganzzahligen Position an oder nah bei einer Kante zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche liegt, die in dem decodierten Rahmen gepackt sind, können die Pixel, die von dem Interpolationsfilter verwendet werden, mindestens ein Pixel, das von der ersten Projektionsfläche ausgewählt wird, und mindestens ein Pixel, das von der zweiten Projektionsfläche ausgewählt wird, aufweisen. Wenn die erste Projektionsfläche und die zweite Projektionsfläche in der ersten 360-VR-Projektionsanordnung kontinuierliche Flächen mit einer Bildinhaltskontinuität an einer Kante zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche sind, kann ein Objekt über der Kante zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche aufgrund der eingesetzten 360-VR-Projektion schwerwiegend verzerrt werden. Als eine Folge können die Pixel, die von dem Interpolationsfilter verwendet werden, zu unterschiedlichen Objekten gehören, was somit in Artefakten in dem konvertierten Rahmen resultiert.
Um das vorstehende Problem zu adressieren, schlägt die vorliegende Erfindung eine innovative Projektionsanordnungsauslegung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen zum Reduzieren von Artefakten vor, die durch eine Interpolation eingeführt werden, welche für eine Projektionsanordnungskonvertierung verwendet wird. 9 ist ein Diagramm, das ein drittes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine Konvertierungsschaltung 923 ist in einer Zielelektronikvorrichtung 904 enthalten, um einen decodierten Rahmen IMG' mit einer 360-VR-Projektionsanordnung in einen konvertierten Rahmen IMG" mit einer unterschiedlichen 360-VR-Projektionsanordnung zu konvertieren. Zum Beispiel kann der decodierte Rahmen IMG' ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in eine Pyramidenprojektionsanordnung gepackt sind, und der konvertierte Rahmen IMG" kann ein projektionsbasierter Rahmen mit Projektionsflächen sein, die in eine Äquirektangular-Projektions- (ERP-) Anordnung gepackt sind. Die Konvertierungsschaltung 914 in einer Quellenelektronikvorrichtung 902 wird verwendet, um einen projektionsbasierten Rahmen IMG mit einer 360-VR-Projektionsanordnung L_VR gemäß dem Rundum-Bild/Video-Inhalt S_IN zu generieren. Es sollte beachtet werden, dass der decodierte Rahmen IMG' ein decodierter projektionsbasierter Rahmen mit der gleichen 360-VR-Projektionsanordnung L_VR ist, die von der Konvertierungsschaltung 914 eingesetzt wird. In dieser Ausführungsform wird die 360-VR-Projektionsanordnung L_VR durch eine innovative Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen festgelegt. Insbesondere ist eine Auffüllschaltung 915 in der Konvertierungsschaltung 914 enthalten und ist eingerichtet, einen Auffüllbereich zu erzeugen und zwischen kontinuierlichen Projektionsflächen zum Reduzieren von Artefakten einzufügen, die durch falsche Interpolationsabgriffe verursacht werden.
Es sei auf 3 in Verbindung mit 10 verwiesen. 10 ist ein Diagramm, das eine Mehrzahl von Objekten jeweils über eine Kante zwischen zwei kontinuierlichen Projektionsflächen, die in die in 3 gezeigten viewport-basierte Pyramidenprojektionsanordnung 302 gepackt sind, darstellt. Die in 3 gezeigte viewport-basierte Pyramidenprojektionsanordnung 302 betreffend existiert eine Bildinhaltskontinuitätskante zwischen der Hypotenuse S51 der Seitenprojektionsfläche R' und der Seite S14 der Basisprojektionsfläche FR, existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S52 der Seitenprojektionsfläche R' und der Kathete S23 der Seitenprojektionsfläche U', existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S53 der Seitenprojektionsfläche R' und der Kathete S42 der Seitenprojektionsfläche B', existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S33 der Seitenprojektionsfläche L' und der Kathete S22 der Seitenprojektionsfläche U', und existiert eine Bildinhaltskontinuitätskante zwischen der Kathete S32 der Seitenprojektionsfläche L' und der Kathete S43 der Seitenprojektionsfläche B'. Es sei angenommen, dass jedes der Objekte 1002, 1004, 1006, 1008, 1010 eine gerade Form aufweist, wenn es durch die Videoaufnahmevorrichtung 112 aufgenommen wird. Aufgrund von inhärenten Eigenschaften der Pyramidenprojektion wird das Objekt 1002 an der Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche R' und der Basisprojektionsfläche FR geknickt, wird das Objekt 1004 an der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen R' und U' geknickt, wird das Objekt 1006 an der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen B' und L' geknickt, wird das Objekt 1008 an der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen B' und R' geknickt, und wird das Objekt 1010 an der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen L' und U' geknickt. Wenn ein decodierter Rahmen mit der viewport-basierten Pyramidenprojektionsanordnung 302 in einen konvertierten Rahmen mit einer unterschiedlichen Projektionsanordnung konvertiert wird, kann eine vertikale/horizontale Interpolation, die um eine der Bildinhaltskontinuitätskanten herum ausgeführt wird, aufgrund von falschen Interpolationsabgriffen, die durch angrenzende Pixel festgelegt werden, die sich entlang einer vertikalen/horizontalen Richtung befinden, Artefakte in dem konvertierten Rahmen einführen.
Um die Artefakte effizient zu reduzieren, kann eine Auffüllung in einer Projektionsanordnung um jede Bildinhaltskontinuitätskante zwischen kontinuierlichen Projektionsflächen eingeführt werden und durch die Interpolation für eine Projektionsformatkonvertierung verwendet werden. Zum Beispiel wird ein Rundum-Bild/Video-Inhalt über eine 360-VR-Projektion auf Projektionsflächen abgebildet, wobei die Projektionsflächen eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen, und es eine Bildinhaltskontinuitätskante zwischen einer ersten Seite der ersten Projektionsfläche und einer ersten Seite der zweiten Projektionsfläche gibt, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt. Die Auffüllschaltung 915 generiert mindestens einen Auffüllbereich, wobei der mindestens eine Auffüllbereich einen ersten Auffüllbereich aufweist. Die Konvertierungsschaltung 914 kombiniert die Projektionsflächen und den mindestens einen Auffüllbereich, wobei der erste Auffüllbereich die erste Seite der ersten Projektionsfläche und die erste Seite der zweiten Projektionsfläche berührt, um die erste Seite der ersten Projektionsfläche von der ersten Seite der zweiten Projektionsfläche zu isolieren.
11 ist ein Diagramm, das eine viewport-basierte Pyramidenprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Zum Beispiel kann die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 914 verwendet wird, durch die in 11 gezeigte vorgeschlagene Pyramidenprojektionsanordnung 1102 festgelegt sein. Die Auffüllschaltung 915 fügt einen Auffüllbereich PR_1 zu der Bildinhaltskontinuitätskante zwischen der Seitenprojektionsfläche R' und der Basisprojektionsfläche FR hinzu, fügt einen Auffüllbereich PR_2 zu der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen R' und U' hinzu, fügt einen Auffüllbereich PR_3 zu der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen U' und L' hinzu, fügt einen Auffüllbereich PR_4 zu der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen B' und L' hinzu und fügt einen Auffüllbereich PR_5 zu der Bildinhaltskontinuitätskante zwischen den Seitenprojektionsflächen B' und R' hinzu.
In einer ersten beispielhaften Kantenauffüllauslegung wendet die Auffüllschaltung 915 eine Geometrieauffüllung auf die Basisprojektionsfläche FR und die Seitenprojektionsfläche R' an, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR_1 enthalten sind, wendet eine Geometrieauffüllung auf die Seitenflächen R' und U' an, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR_2 enthalten sind, wendet eine Geometrieauffüllung auf die Seitenflächen U' und L' an, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR_3 enthalten sind, wendet eine Geometrieauffüllung auf die Seitenflächen L' und B' an, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR_4 enthalten sind, und wendet eine Geometrieauffüllung auf die Seitenflächen B' und R' an, um Pixelwerte von Pixeln zu bestimmen, die in dem Auffüllbereich PR_5 enthalten sind.
Daher weist der Auffüllbereich PR_1 einen Geometrieabbildungsbereich, der sich von einer Seite der Basisprojektionsfläche FR erstreckt, und einen anderen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, auf; weist der Auffüllbereich PR_2 einen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, und einen anderen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, auf; weist der Auffüllbereich PR_3 einen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, und einen anderen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, auf; weist der Auffüllbereich PR_4 einen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, und einen anderen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, auf; und weist der Auffüllbereich PR_5 einen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, und einen anderen Geometrieabbildungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, auf. Wie vorstehend erwähnt, wird ein Geometrieabbildungsbereich, der sich von einer Seite einer Projektionsfläche erstreckt, durch ein Abbilden des Inhalts eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) auf den Geometrieabbildungsbereich erhalten, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Projektionsfläche erhalten wird.
In einer zweiten beispielhaften Kantenauffüllauslegung legt die Auffüllschaltung 915 Pixelwerte von Pixeln, die in dem Auffüllbereich PR_1 enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln, die in der Basisprojektionsfläche FR enthalten sind, und Pixelwerten von Pixeln, die in der Seitenprojektionsfläche R' enthalten sind, fest, legt Pixelwerte von Pixeln, die in dem Auffüllbereich PR_2 enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln, die in der Seitenprojektionsfläche R' enthalten sind, und Pixelwerten von Pixeln, die in der Seitenprojektionsfläche U' enthalten sind, fest, legt Pixelwerte von Pixeln, die in dem Auffüllbereich PR_3 enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln, die in der Seitenprojektionsfläche U' enthalten sind, und Pixelwerten von Pixeln, die in der Seitenprojektionsfläche L' enthalten sind, fest, legt Pixelwerte von Pixeln, die in dem Auffüllbereich PR_4 enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln, die in der Seitenprojektionsfläche L' enthalten sind, und Pixelwerten von Pixeln, die in der Seitenprojektionsfläche B' enthalten sind, fest, und legt Pixelwerte von Pixeln, die in dem Auffüllbereich PR_5 enthalten sind, durch ein Duplizieren von Pixelwerten von Pixeln, die in der Seitenprojektionsfläche B' enthalten sind, und Pixelwerten von Pixeln, die in der Seitenprojektionsfläche R' enthalten sind, fest.
Daher weist der Auffüllbereich PR_1 einen Duplizierungsbereich, der sich von einer Seite der Basisprojektionsfläche FR erstreckt, und einen anderen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, auf; weist der Auffüllbereich PR_2 einen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, und einen anderen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, auf; weist der Auffüllbereich PR_3 einen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, und einen anderen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, auf; weist der Auffüllbereich PR_4 einen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, und einen anderen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, auf; und weist der Auffüllbereich PR_5 einen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, und einen anderen Duplizierungsbereich, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, auf.
Wie vorstehend erwähnt, kann eine Auffüllung in einer Projektionsanordnung um jede Bildinhaltskontinuitätskante zwischen kontinuierlichen Projektionsflächen herum eingeführt werden und durch die Interpolation für eine Projektionsformatkonvertierung verwendet werden. Es sollte beachtet werden, dass die in 11 gezeigte viewport-basierte Pyramidenprojektionsanordnung 1102 nur ein Beispiel ist. In der Praxis kann das gleiche Konzept eines Hinzufügens einer Auffüllung zu einer Bildinhaltskontinuitätskante zwischen kontinuierlichen Projektionsflächen auf andere Projektionsanordnungen einschließlich würfelbasierter Projektionsanordnungen, dreiecksbasierter Projektionsanordnungen, äquatorialzylindrischer Projektionsanordnungen, usw. angewendet werden.
12 ist ein Diagramm, das eine äquatorialzylindrische Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 13 ist ein Diagramm, das eine Tetraeder-Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 14 ist ein Diagramm, das eine Oktaeder-Projektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 15 ist ein Diagramm, das eine Würfelabbildungsprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 16 ist ein Diagramm, das eine Abgeschnitten-Quadratische-Pyramidenprojektion mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 17 ist ein Diagramm, das eine viewport-basierte Würfelprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Kantenauffüllbereiche in den vorgeschlagenen Projektionsanordnungen, die in 12-17 gezeigt sind, werden durch dicke Linien dargestellt.
Es gibt eine Bildinhaltskontinuitätskante zwischen einer ersten Seite einer ersten Projektionsfläche und einer ersten Seite einer zweiten Projektionsfläche, wenn die erste Seite der ersten Projektionsfläche die erste Seite der zweiten Projektionsfläche berührt. Objekte über kontinuierliche Projektionsflächen in einer Projektionsanordnung können jedoch schwerwiegenden Verzerrungen ausgesetzt sein. Als eine Folge kann eine Interpolation, die von einer Projektionsformatkonvertierung verwendet wird, aufgrund von falschen Interpolationsabgriffen Artefakte einführen. Wie vorstehend erwähnt, kann eine Geometrieabbildung verwendet werden, um einen Auffüllbereich zu erzeugen, welcher die erste Seite der ersten Projektionsfläche und die erste Seite der zweiten Projektionsfläche berührt, um die erste Seite der ersten Projektionsfläche von der ersten Seite der zweiten Projektionsfläche zu isolieren. Der Auffüllbereich weist einen ersten Geometrieabbildungsbereich, der sich von der ersten Seite der ersten Projektionsfläche erstreckt, und einen zweiten Geometrieabbildungsbereich, der sich von der ersten Seite der zweiten Projektionsfläche erstreckt, auf. Ein Geometrieabbildungsbereich, der sich von einer Seite einer Projektionsfläche erstreckt, wird durch ein Abbilden des Inhalts eines Bereichs auf einer Kugel (z.B. die in 2 gezeigte Kugel 202) auf den Geometrieabbildungsbereich erhalten, wobei der Bereich auf der Kugel an einen Bereich angrenzt, von welchem die Projektionsfläche erhalten wird. Wenn der erste Geometrieabbildungsbereich den zweiten Geometrieabbildungsbereich berührt, tritt eine Bildinhaltsdiskontinuitätskante zwischen dem ersten Geometrieabbildungsbereich und dem zweiten Geometrieabbildungsbereich des Auffüllbereichs auf und kann einen Einfluss auf die Codierungseffizienz haben. Um die Codierungseffizienzverschlechterung zu umgehen, die durch die Kantenauffüllung verursacht wird, die von der Geometrieabbildung generiert wird, kann ein Mischbereich erzeugt und zwischen dem ersten Geometrieabbildungsbereich und dem zweiten Geometrieabbildungsbereich in dem Auffüllbereich eingefügt werden.
18 ist ein Diagramm, das eine andere viewport-basierte Pyramidenprojektionsanordnung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie die in 11 gezeigten viewport-basierten Pyramidenprojektionsanordnungen 1102 weist die viewport-basierte Pyramidenprojektionsanordnung 1802 einen Auffüllbereich, der zwischen der Basisprojektionsfläche FR und der Seitenprojektionsfläche R' eingefügt ist, einen Auffüllbereich, der zwischen den Seitenprojektionsflächen R' und U' eingefügt ist, einen Auffüllbereich, der zwischen den Seitenprojektionsflächen U' und L' eingefügt ist, einen Auffüllbereich, der zwischen den Seitenprojektionsflächen L' und B' eingefügt ist, und einen Auffüllbereich, der zwischen den Seitenprojektionsflächen B' und R' eingefügt ist, auf. In dieser Ausführungsform weist der Auffüllbereich, der zwischen der Basisprojektionsfläche FR und der Seitenprojektionsfläche R' eingefügt ist, einen Geometrieabbildungsbereich PR_11, der sich von einer Seite der Basisprojektionsfläche FR erstreckt, einen anderen Geometrieabbildungsbereich PR_12, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, und einen Mischbereich BL_1, der zwischen den Geometrieabbildungsbereichen PR_11 und PR_12 eingefügt ist, auf; weist der Auffüllbereich, der zwischen den Seitenprojektionsflächen R' und U' eingefügt ist, einen Geometrieabbildungsbereich PR_21, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, einen anderen Geometrieabbildungsbereich PR_22, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, und einen Mischbereich BL_2, der zwischen den Geometrieabbildungsbereichen PR_21 und PR_22 eingefügt ist, auf; weist der Auffüllbereich, der zwischen den Seitenprojektionsflächen U' und L' eingefügt ist, einen Geometrieabbildungsbereich PR_31, der sich von einer Seite der Seitenprojektionsfläche U' erstreckt, einen anderen Geometrieabbildungsbereich PR_32, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, und einen Mischbereich BL_3, der zwischen den Geometrieabbildungsbereichen PR_31 und PR_32 eingefügt ist, auf; weist der Auffüllbereich, der zwischen den Seitenprojektionsflächen B' und L' eingefügt ist, einen Geometrieabbildungsbereich PR_41, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, einen anderen Geometrieabbildungsbereich PR_42, der sich von einer Seite der Seitenprojektionsfläche L' erstreckt, und einen Mischbereich BL_4, der zwischen den Geometrieabbildungsbereichen PR_41 und PR_42 eingefügt ist, auf; und weist der Auffüllbereich, der zwischen den Seitenprojektionsflächen R' und B' eingefügt ist, einen Geometrieabbildungsbereich PR_51, der sich von einer Seite der Seitenprojektionsfläche R' erstreckt, einen anderen Geometrieabbildungsbereich PR_52, der sich von einer Seite der Seitenprojektionsfläche B' erstreckt, und einen Mischbereich BL_5, der zwischen den Geometrieabbildungsbereichen PR_51 und PR_52 eingefügt ist, auf.
In einer beispielhaften Mischauslegung kann ein Mischbereich (z.B. BL_1) durch ein Mischen (eine Interpolation) generiert werden, das auf Pixel ausgeführt wird, die von Geometrieabbildungsbereichen (z.B. PR_11 und PR_12) erhalten werden. In einer anderen beispielhaften Mischauslegung kann ein Mischbereich (z.B. BL_1) durch ein Mischen eines ersten Geometrieabbildungsergebnisses des Mischbereichs und eines zweiten Geometrieabbildungsergebnisses des Mischbereichs erhalten werden, wobei sich das erste Geometrieabbildungsergebnis des Mischbereichs von einem Geometrieabbildungsbereich (z.B. PR_11) erstreckt und sich das zweite Geometrieabbildungsergebnis des Mischbereichs von einem andere Geometrieabbildungsbereich (z.B. PR_12) erstreckt. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein.
Wie in 9 gezeigt, ist die Auffüllschaltung 915 in der Konvertierungsschaltung 914 auf einer Codiererseite (d.h., einer Quellenelektronikvorrichtung 902) enthalten. Daher wird eine Kantenauffüllung vor einem Codieren ausgeführt. In einer alternativen Auslegung kann eine Kantenauffüllung nach einem Codieren ausgeführt werden. Das heißt, eine Auffüllschaltung kann auf einer Decodiererseite zum Hinzufügen einer Kantenauffüllung zu einem decodierten Rahmen, welcher Projektionsflächen aufweist, die in einer Projektionsanordnung ohne Kantenauffüllung gepackt sind, implementiert werden.
19 ist ein Diagramm, das ein viertes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Hauptunterschied zwischen den 360-VR-Systemen 900 und 1900 ist, dass eine Konvertierungsschaltung 1914 auf einer Codiererseite (d.h., einer Quellenelektronikvorrichtung 1902) keine zur Kantenauffüllung verwendete Auffüllschaltung aufweist, und eine Konvertierungsschaltung 1923 auf einer Decodiererseite (d.h., einer Zielelektronikvorrichtung 1904) eine zur Kantenauffüllung verwendete Auffüllschaltung 1924 aufweist. Die 360-VR-Projektionsanordnung L_VR, die von der Konvertierungsschaltung 1914 eingesetzt wird, ist durch eine Projektionsanordnung ohne eine Kantenauffüllung festgelegt. Daher ist der decodierte Rahmen IMG', der von der Decodierungsschaltung 122 generiert wird, ein projektionsbasierter Rahmen, der Projektionsflächen aufweist, die in einer Projektionsanordnung ohne eine Kantenauffüllung gepackt sind. Die Funktion und der Betrieb der Auffüllschaltung 1924 sind identisch/ähnlich zu denjenigen der Auffüllschaltung 915. Zum Beispiel generiert die Auffüllschaltung 1924 einen Auffüllbereich, welcher zu einer Bildinhaltskontinuitätskante zwischen kontinuierlichen Projektionsflächen hinzugefügt wird, die in dem decodierten Rahmen IMG' gepackt sind. Insbesondere weisen Projektionsflächen, die in dem decodierten Rahmen IMG' gepackt sind, eine erste Projektionsfläche und eine zweite Projektionsfläche auf, wobei eine erste Seite der ersten Projektionsfläche eine erste Seite der zweiten Projektionsfläche berührt, und es eine Bildinhaltskontinuitätskante zwischen der ersten Seite der ersten Projektionsfläche und der ersten Seite der zweiten Projektionsfläche gibt. Die Auffüllschaltung 1924 generiert mindestens einen Auffüllbereich, wobei der mindestens eine Auffüllbereich einen ersten Auffüllbereich aufweist. Die Konvertierungsschaltung 1923 kombiniert die Projektionsflächen in dem decodierten Rahmen IMG', der durch die Decodierungsschaltung 122 generiert wird, und den mindestens einen Auffüllbereich, der durch die Auffüllschaltung 1924 generiert wird, wobei der ersten Auffüllbereich die erste Seite der ersten Projektionsfläche und die erste Seite der zweiten Projektionsfläche berührt, um die erste Seite der ersten Projektionsfläche von der ersten Seite der zweiten Projektionsfläche zu isolieren. Nachdem ein Rahmen, der eine Projektionsanordnung mit einer Kantenauffüllung (z.B. eine der in 11-17 gezeigten Projektionsanordnungen) aufweist, generiert worden ist, konvertiert die Konvertierungsschaltung 1923 den Rahmen, der die Projektionsanordnung mit der Kantenauffüllung (z.B. eine Pyramidenprojektionsanordnung mit einer Kantenauffüllung) aufweist, in einen konvertierten Rahmen IMG", der eine unterschiedliche Projektionsanordnung (z.B. eine typische ERP-Anordnung ohne eine Kantenauffüllung) aufweist.
Wie vorstehend erwähnt, können aufgrund der Tatsache, dass ein Objekt über eine Kante zwischen kontinuierlichen Projektionsflächen durch die eingesetzte 360-VR-Projektion schwerwiegend verzerrt werden kann, Artefakte durch falsche Interpolationsabgriffe eingeführt werden. Um dieses Problem zu adressieren, ist eine Lösung, eine Projektionsanordnungsauslegung mit einer Kantenauffüllung zwischen kontinuierlichen Projektionsflächen zum Reduzieren von Artefakten, die durch die Interpolation eingeführt werden, welche für eine Projektionsanordnungskonvertierung verwendet wird, zu verwenden. Die vorliegende Erfindung schlägt weiter eine alternative Lösung zum Vollbringen der gleichen Aufgabe eines Reduzierens von Artefakten, die durch eine Interpolation eingeführt werden, welche für eine Projektionsanordnungskonvertierung verwendet wird, vor, welche die Interpolationsrichtung wechselt.
20 ist ein Diagramm, das eine Projektionsanordnungskonvertierung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Projektionsanordnungskonvertierung, die durch die Konvertierungsschaltung 923/1923 ausgeführt wird, umfasst eine Formatkonvertierungsoperation zum Konvertieren einer Projektionsanordnung L_VR1 eines ersten 360-VR-Projektionsformats zu einer Projektionsanordnung L_VR2 eines zweiten 360-VR-Projektionsformats. Zum Beispiel kann die Projektionsanordnung L_VR1 eine viewport-basierte Pyramidenprojektionsanordnung sein, und die Projektionsanordnung L_VR2 kann eine ERP-Anordnung sein. Wie in 20 gezeigt, kann ein Pixel P, das sich an einer ganzzahligen Position (d.h., (x, y), wobei x und y ganzzahlige Positionen sind) in einem konvertierten Rahmen IMG" mit der Projektionsanordnung L_VR2 befindet, auf ein Pixel Q, das sich an einer nichtganzzahligen Position (d.h., (x', y'), wobei x' keine ganzzahlige Position ist und/oder y' keine ganzzahlige Position ist) in einem decodierten Rahmen mit der Projektionsanordnung L_VR1 befindet, abgebildet werden. Das heißt, die Konvertierungsschaltung 923/1923 kann das Pixel P in dem konvertierten Rahmen durch das Pixel Q in dem decodierten Rahmen festlegen. Die Konvertierungsschaltung 923/1923 kann einen Pixelwert des Pixels Q, das sich an der nichtganzzahligen Position in dem decodierten Rahmen befindet, durch ein Verwenden eines Interpolationsfilters bestimmen, um Pixel zu verarbeiten, die sich an ganzzahligen Positionen in dem decodierten Rahmen befinden.
Es sei angenommen, dass das Pixel Q mit der nichtganzzahligen Position an oder nah an einer Kante zwischen einer ersten Projektionsfläche und einer zweiten Projektionsfläche liegt, die in dem decodierten Rahmen mit der Projektionsanordnung L_VR1 gepackt sind, dann können die Pixel, die durch das Interpolationsfilter verwendet werden, mindestens ein Pixel, das von der ersten Projektionsfläche ausgewählt ist, und mindestens ein Pixel, das von der zweiten Projektionsfläche ausgewählt ist, aufweisen. Wenn die erste Projektionsfläche und die zweite Projektionsfläche, die in der ersten Projektionsanordnung L_VR1 gepackt sind, kontinuierliche Flächen mit einer Bildinhaltskontinuität an der Kante zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche sind, kann ein Objekt über der Kante zwischen der ersten Projektionsfläche und der zweiten Projektionsfläche aufgrund der eingesetzten 360-VR-Projektion schwerwiegend verzerrt werden. Zum Beispiel befinden sich Pixel P1, P2 und P3 an ganzzahligen Positionen in dem decodierten Rahmen mit der Projektionsanordnung L_VR1, wobei die Pixel P1 und P3 entlang einer Projektionsrichtung angeordnet sind und zu dem gleichen Objekt gehören, und die Pixel P2 und P3 entlang einer geraden Richtung (z.B. eine vertikale Richtung) angeordnet sind und zu verschiedenen Objekten gehören. Wenn der Pixelwert des Pixels Q durch ein Ausführen einer vertikalen Interpolation auf Pixel (welche P2 und P3 einschließen) entlang einer vertikalen Richtung bestimmt wird, wird ein Artefakt aufgrund von falschen Interpolationsabgriffen an der ganzzahligen Position des Pixels P eingeführt. Um dieses Problem zu adressieren, ist die Konvertierungsschaltung 923/1923 eingerichtet, die Interpolationsrichtung zu wechseln, sodass der Pixelwert des Pixels Q durch ein Ausführen einer Interpolation auf Pixel (welche P1 und P3 einschließen) entlang einer Projektionsrichtung bestimmt wird. In diesem Beispiel ist die Projektionsrichtung nicht eine originale Interpolationsrichtung, die eine gerade Richtung ist.
Projektionsflächen, die in einer viewport-basierten Projektionsanordnung (z.B. eine viewport-basierte Pyramidenprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramidenprojektionsanordnung oder eine viewport-basierte Würfelprojektionsanordnung) gepackt sind, weisen eine erste Projektionsfläche, die zu einem Anwender-Viewport (d.h., eine Hauptansicht) korrespondiert, und (eine) zweite Projektionsfläche(n), die zu einer Ansicht korrespondieren, die keine Hauptansicht ist, auf. Die in 3 gezeigte viewport-basierte Pyramidenprojektionsanordnung 302 als Beispiel nehmend korrespondiert die Basisprojektionsfläche FR zu der Hauptansicht, und die vier Seitenprojektionsflächen U', B', L' und R' korrespondieren zu der Ansicht, die keine Hauptansicht ist. Da die Augen des Anwenders höchstwahrscheinlich durch den Bildinhalt, der in der Hauptansicht-Projektionsfläche repräsentiert ist, angezogen werden, ist der Bildinhalt, der in der Hauptansichtsprojektionsfläche repräsentiert wird, wichtiger als der Bildinhalt, der in den Projektionsflächen repräsentiert wird, die keine Hauptansichtsprojektionsflächen sind. Basierend auf solchen Beobachtungen schlägt die vorliegende Erfindung ein Anwenden einer Glättungsfilterung auf mindestens einen Teil (d.h., ein Teil oder alles) des Bildinhalts vor, der in den Projektionsflächen repräsentiert wird, die keine Hauptansichtsprojektionsflächen sind, um Artefakte zu reduzieren und die Codierungseffizienz zu verbessern.
21 ist ein Diagramm, das ein fünftes 360-VR-System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine Konvertierungsschaltung 2111 auf einer Codiererseite (d.h., eine Quellenelektronikvorrichtung 2102) generiert einen projektionsbasierten Rahmen IMG mit einer 360-VR-Projektionsanordnung L_VR gemäß dem Rundum-Bild/Video-Inhalt S_IN. In dieser Ausführungsform ist die 360-VR-Projektionsanordnung L_VR durch eine viewport-basierte Projektionsanordnung (z.B. eine viewport-basierte Pyramidenprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramidenprojektionsanordnung oder eine viewport-basierte Würfelprojektionsanordnung) festgelegt. Daher weist der projektionsbasierte Rahmen IMG eine Hauptansichtsprojektionsfläche und eine Mehrzahl von Projektionsflächen, die keine Hauptansichtsprojektionsfläche sind, auf, die in der viewport-basierten Projektionsanordnung gepackt sind. Die Quellenelektronikvorrichtung 2102 weist weiter ein Glättungsfilter 2112 auf, das zwischen der Konvertierungsschaltung 2111 und dem Video-Codierer 116 angeschlossen ist. Das Glättungsfilter 2112 ist eingerichtet, eine Glättungsfilterung auf mindestens einen Teil (d.h., ein Teil oder alles) des Bildinhalts auszuführen, der in den Projektionsflächen repräsentiert ist, die keine Hauptansichtsprojektionsfläche sind, und einen glättungsgefilterten Rahmen IMG" an den Video-Codierer 116 auszugeben. Zum Beispiel kann das Glättungsfilter 2112 ein adaptives Glättungsfilter sein, das in der Lage ist, verschiedene Glättungsfilteroperationen (z.B. Glättungsfilterung mit verschiedenen Stärken) auf verschiedene Bereiche in dem Bildinhalt anzuwenden, der in den Projektionsflächen repräsentiert ist, die keine Hauptansichtsprojektionsfläche sind. Der Video-Codierer 116 ist eine Codierungsschaltung, die verwendet wird, um den glättungsgefilterten Rahmen IMG" zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Weitere Details des Glättungsfilters (z.B. ein adaptives Glättungsfilter) 2112 werden nachfolgend beschrieben.
22 ist ein Diagramm, das eine Verteilung von Längengradlinien und Breitengradlinien in einer viewport-basierten Pyramidenprojektionsanordnung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine Längengrad- und Breitengrad-ERP-Abbildung wird zu der viewport-basierten Pyramidenprojektionsanordnung konvertiert. Ein Teilbild 2202 wird durch die Basisprojektionsfläche repräsentiert, korrespondiert zu der Hauptansicht, und ein Teilbild 2204 wird durch vier Seitenprojektionsflächen repräsentiert, korrespondiert zu einer Ansicht, die keine Hauptansicht ist. Unterschiedliche horizontale FOV- (Sichtfeld-) Bereiche können durch Längengradlinien definiert werden, die in 22 gezeigt sind. Unterschiedliche vertikale FOV-Bereiche können durch Breitengradlinien definiert werden, die in 22 gezeigt sind. Daher kann das Teilbild 2204 der Ansicht, die keine Hauptansicht ist, in mehrere Bereiche gemäß FOV-Bereichen unterteilt werden.
23 ist ein Diagramm, das eine erste Partitionierungsauslegung des Teilbilds 2204 der Ansicht, die keine Hauptansicht ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Ein Bereich in dem Teilbild 2204 kann durch einen vertikalen FOV-Bereich (vFOV) und einen horizontalen FOV-Bereich (hFOV) definiert werden. In dieser Ausführungsform ist das Teilbild 2204 in eine Mehrzahl von Bereichen RA, RB, RC und RD unterteilt. Der Bereich RA weist einen FOV-Bereich auf, der durch vFOV ≥ 180° und hFOV ≥ 180° definiert ist. Der Bereich RB weist einen FOV-Bereich auf, der durch 180° > vFOV ≥ 150° und 180° > hFOV ≥ 150° definiert ist. Der Bereich RC weist einen FOV-Bereich auf, der durch 150° > vFOV ≥ 120° und 150° > hFOV ≥120° definiert ist. Der Bereich RD weist einen FOV-Bereich auf, der durch 120° > vFOV ≥ 90° und 120° > hFOV ≥ 90° definiert ist. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. In der Praxis kann das Teilbild 2204 in Bereiche gemäß einer unterschiedlichen Kombination von FOV-Bereichen unterteilt sein.
Der Bildinhalt, der in dem Bereich RD repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RC repräsentiert ist, der Bildinhalt, der in dem Bereich RC repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RB repräsentiert ist, und der Bildinhalt, der in dem Bereich RB repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RA repräsentiert ist. Daher wendet das Glättungsfilter 2112 eine erste Glättungsfilteroperation mit einer ersten Glättungsfilterstärke S1 auf den Bereich RD an, wendet eine zweite Glättungsfilteroperation mit einer zweiten Glättungsfilterstärke S2 auf den Bereich RC an, wendet eine dritte Glättungsfilteroperation mit einer dritten Glättungsfilterstärke S3 auf den Bereich RB an und wendet eine vierte Glättungsfilteroperation mit einer vierten Glättungsfilterstärke S4 auf den Bereich RA an, wobei S4 > S3 > S2 > S1 ist. Wenn eine stärkere Glättungsfilterstärke eingesetzt wird, wird ein verschwommenerer Bereich von dem Glättungsfilter 2112 ausgegeben und kann unter Verwendung einer geringeren Anzahl von Bits codiert werden. Wenn eine schwächere Glättungsfilterstärke eingesetzt wird, wird ein weniger verschwommener Bereich von dem Glättungsfilter 2112 ausgegeben und kann unter Verwendung einer höheren Anzahl von Bits codiert werden.
Um die tatsächliche Implementierung des Glättungsfilters 2112 zu vereinfachen, können rechteckige Ränder zum Definieren einer Mehrzahl von Bereichen in dem Teilbild 2204 eingesetzt werden. 24 ist ein Diagramm, das eine zweite Partitionierungsauslegung des Teilbilds 2204 der Ansicht, die keine Hauptansicht ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Ein rechteckiger Rand eines Bereichs in dem Teilbild 2204 kann von einem vertikalen FOV-Bereich (vFOV) und einem horizontalen FOV-Bereich (hFOV) berechnet werden. In dieser Ausführungsform ist das Teilbild 2204 in eine Mehrzahl von Bereichen RA', RB', RC' und RD' gemäß den rechteckigen Rändern unterteilt. Zum Beispiel kann der in 24 gezeigte Bereich RA' der gleiche sein wie der in 23 gezeigte Bereich RA. Daher ist der Bereich RA' ein quadratischer Bereich mit einem FOV-Bereich, der durch vFOV ≥ 180° und hFOV ≥ 180° definiert ist. Der in 24 gezeigte Bereich RB' ist kleiner als der in 23 gezeigte Bereich RB, wobei ein äußerer rechteckiger Rand des Bereichs RB' vollständig innerhalb eines FOV-Bereichs liegt, der durch 180° > vFOV ≥ 150° und 180° > hFOV ≥ 150° definiert ist. Der in 24 gezeigte Bereich RC' ist kleiner als der in 23 gezeigte Bereich RC, wobei ein äußerer rechteckiger Rand des Bereichs RC' vollständig innerhalb eines FOV-Bereichs liegt, der durch 150° > vFOV ≥ 120° und 150° > hFOV ≥ 120° definiert ist. Der in 24 gezeigte Bereich RD' ist größer er als der in 23 gezeigte Bereich RD, wobei ein innerer rechteckiger Rand des Bereichs RD' nicht vollständig innerhalb eines FOV-Bereichs liegt, der durch 120° > vFOV ≥ 90° und 120° > hFOV ≥ 90° definiert ist.
Der Bildinhalt, der in dem Bereich RD' repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RC' repräsentiert ist, der Bildinhalt, der in dem Bereich RC' repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RB' repräsentiert ist, und der Bildinhalt, der in dem Bereich RB' repräsentiert ist, ist näher an der Hauptansicht als der Bildinhalt, der in dem Bereich RA' repräsentiert ist. Daher wendet das Glättungsfilter 2112 eine erste Glättungsfilteroperation mit einer ersten Glättungsfilterstärke S1' auf den Bereich RD' an, wendet eine zweite Glättungsfilteroperation mit einer zweiten Glättungsfilterstärke S2' auf den Bereich RC' an, wendet eine dritte Glättungsfilteroperation mit einer dritten Glättungsfilterstärke S3' auf den Bereich RB' an und wendet eine vierte Glättungsfilteroperation mit einer vierten Glättungsfilterstärke S4' auf den Bereich RA' an, wobei S4' > S3' > S2' > S1' ist. Wenn eine stärkere Glättungsfilterstärke eingesetzt wird, wird ein verschwommenerer Bereich von dem Glättungsfilter 2112 ausgegeben und kann unter Verwendung einer geringeren Anzahl von Bits codiert werden. Wenn eine schwächere Glättungsfilterstärke eingesetzt wird, wird ein weniger verschwommener Bereich von dem Glättungsfilter 2112 ausgegeben und kann unter Verwendung einer höheren Anzahl von Bits codiert werden.
25 ist ein Diagramm, das eine viewport-basierte Projektionsanordnung, die von einer ERP-Anordnung hergeleitet ist, gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine ERP-Anordnung 2502 kann direkt in die vorgeschlagene viewport-basierte Projektionsanordnung 2504 konvertiert werden. Eine einzelne Projektionsfläche wird durch eine Äquirektangular-Projektion eines Rundum-Bild/Video-Inhalts einer Kugel (z.B. die in 2 gezeigte Kugel 202) erhalten. Unterschiedliche horizontale FOV-Bereiche können durch einen Längengrad der ERP-Anordnung 2502 definiert werden. Unterschiedliche vertikale FOV-Bereiche können durch einen Breitengrad der ERP-Anordnung 2502 definiert werden. Daher ist die einzelne Projektionsfläche in der ERP-Anordnung 2502 in eine Mehrzahl von Bereichen (gekennzeichnet durch Buchstaben „A“, „B“, „C“, „D“, „E“ und „F“) gemäß FOV-Bereichen unterteilt. In dieser Ausführungsform korrespondiert der Bildinhalt des Bereichs „A“ zu dem Anwender-Viewport (d.h., die Hauptansicht), und die Bildinhalte der Bereiche „B“-„F“ korrespondieren zu der Ansicht, die keine Hauptansicht ist. Das in 25 gezeigte Symbol „vFOV 90“ zeigt vFOV = 90° an, das in 25 gezeigte Symbol „vFOV 180“ zeigt vFOV = 180° an, das in 25 gezeigte Symbol „hFOV 90“ zeigt hFOV = 90° an, und das in 25 gezeigte Symbol „hFOV 180“ zeigt hFOV = 180° an. In diesem Beispiel weist der Bereich „A“ einen FOV-Bereich auf, der durch vFOV 90 und hFOV 90 begrenzt ist. Der Bereich „A“ kann jedoch einstellbar sein, wobei hFOV und vFOV in einem Bereich {0°, 180°} einstellbar sind.
Nachdem die einzelne Projektionsfläche in der ERP-Anordnung 2502 in die Bereiche „A“-„F“ unterteilt ist, wird jeder der Bereiche „B“-„F“ geeignet erneut abgetastet, um seine Form und/oder Größe anzupassen, und dann werden der Bereich „A“ und die erneut abgetasteten Bereiche „B“-„F“ in die viewport-basierte Projektionsanordnung 2504 gepackt. Es sollte beachtet werden, dass die Orientierung eines Buchstaben „A“/„B“/„C“/„D“/„E“/„F“ die Orientierung eines korrespondierenden Bereichs anzeigt, der durch den Buchstaben „A“/„B“/„C“/„D“/„E“/„F“ gekennzeichnet ist.
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Veränderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung als nur durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62547126 [0001]
US 62563787 [0001]

Claims

Videoverarbeitungsverfahren, umfassend: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel gemäß einer Pyramidenprojektion; Erzeugen mindestens eines Auffüllbereichs durch eine Auffüllschaltung; und Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen und des mindestens einen Auffüllbereichs in eine Pyramidenprojektionsanordnung, wobei die Projektionsflächen, die in der Pyramidenprojektionsanordnung gepackt sind, eine erste Projektionsfläche aufweisen; der mindestens eine Auffüllbereich, der in der Pyramidenprojektionsanordnung gepackt ist, einen ersten Auffüllbereich aufweist; der erste Auffüllbereich mindestens die eine Projektionsfläche berührt und mindestens einen Teil eines Rands der Pyramidenprojektionsanordnung bildet.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei die Projektionsflächen eine Basisprojektionsfläche, eine erste Seitenprojektionsfläche, eine zweite Seitenprojektionsfläche, eine dritte Seitenprojektionsfläche und eine vierte Seitenprojektionsfläche aufweisen, die in der Pyramidenprojektionsanordnung gepackt sind; eine erste Seite der Basisprojektionsfläche eine erste Seite der ersten Seitenprojektionsfläche berührt; eine zweite Seite der ersten Seitenprojektionsfläche eine erste Seite der zweiten Seitenprojektionsfläche berührt; eine zweite Seite der zweiten Seitenprojektionsfläche eine erste Größe der dritten Seitenprojektionsfläche berührt; eine zweite Seite der dritten Seitenprojektionsfläche eine erste Größe der vierten Seitenprojektionsfläche berührt; eine zweite Seite der vierten Seitenprojektionsfläche eine dritte Seite der ersten Seitenprojektionsfläche berührt; und die erste Projektionsfläche eine der Basisprojektionsfläche, der ersten Seitenprojektionsfläche, der zweiten Seitenprojektionsfläche, der dritten Seitenprojektionsfläche und der vierten Seitenprojektionsfläche ist.
Videoverarbeitungsverfahren gemäß Anspruch 2, wobei der mindestens eine Auffüllbereich, der in der Pyramidenprojektionsanordnung gepackt ist, weiter einen zweiten Auffüllbereich, einen dritten Auffüllbereich und einen vierten Auffüllbereich aufweist; der erste Auffüllbereich eine zweite Seite der Basisprojektionsfläche und eine dritte Seite der zweiten Seitenprojektionsfläche berührt und einen ersten Rand der Pyramidenprojektionsanordnung bildet; der zweite Auffüllbereich eine dritte Seite der dritten Seitenprojektionsfläche berührt und einen zweiten Rand der Pyramidenprojektionsanordnung bildet; der dritte Auffüllbereich eine dritte Seite der Basisprojektionsfläche berührt und einen dritten Rand der Pyramidenprojektionsanordnung bildet; und der vierte Auffüllbereich eine vierte Seite der Basisprojektionsfläche und eine dritte Seite der vierten Seitenprojektionsfläche berührt und einen vierten Rand der Pyramidenprojektionsanordnung bildet.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden einer Geometrieauffüllung auf die erste Projektionsfläche, um Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 1, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von bestimmten Pixeln, die in der ersten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 5, wobei der erste Auffüllbereich eine Seite der ersten Projektionsfläche berührt, und die bestimmten Pixel Randpixel an der einen Seite der ersten Projektionsfläche umfassen.
Videoverarbeitungsverfahren gemäß Anspruch 5, wobei der ersten Auffüllbereich eine Seite der ersten Projektionsfläche berührt, und die bestimmten Pixel Randpixel an der einen Seite der ersten Projektionsfläche nicht umfassen.
Videoverarbeitungsverfahren gemäß Anspruch 1, weiter umfassend: Codieren des projektionsbasierten Rahmens mit den Projektionsflächen und dem mindestens einen Auffüllbereich, die in der Pyramidenprojektionsanordnung gepackt sind, um einen Teil eines Bitstroms zu generieren.
Videoverarbeitungsverfahren gemäß Anspruch 8, weiter umfassend: Decodieren des Teils des Bitstroms, um einen decodierten projektionsbasierten Rahmen mit den Projektionsflächen und dem mindestens einen Auffüllbereich zu generieren, die in der Pyramidenprojektionsanordnung gepackt sind, umfassend: Rekonstruieren eines ersten Pixels, das in der ersten Projektionsfläche enthalten ist, durch Mischen eines decodierten Pixelwerts des ersten Pixels und eines decodierten Pixelwerts eines zweiten Pixels, das in dem mindestens einen Auffüllbereich enthalten ist.
Videoverarbeitungsverfahren gemäß Anspruch 9, wobei ein Pixelwert des zweiten Pixels, das in dem mindestens einen Auffüllbereich enthalten ist, der in dem projektionsbasierten Rahmen gepackt ist, durch ein Duplizieren eines Pixelwerts des ersten Pixels, das in der ersten Projektionsfläche enthalten ist, die in dem projektionsbasierten Rahmen gepackt ist, generiert wird.
Videoverarbeitungsverfahren gemäß Anspruch 10, wobei ein rekonstruierter Pixelwert des ersten Pixels unter Verwendung einer nachfolgenden Formel berechnet wird: $S_{R E C} = \frac{(M - N) * T + (M + N) * S + M}{2 * M},$
wobei S_REC den rekonstruierten Pixelwert des ersten Pixels repräsentiert, S den decodierten Pixelwert des ersten Pixels repräsentiert, T den decodierten Pixelwert des zweiten Pixels repräsentiert, M eine Mischbreite repräsentiert, und N einen Abstand zwischen dem ersten Pixel und einem Rand der ersten Projektionsfläche repräsentiert, welche den ersten Auffüllbereich berührt.
Videoverarbeitungsverfahren, umfassend: Erhalten einer Mehrzahl von Projektionsflächen von einem Rundum-Inhalt einer Kugel gemäß einer 360-Grad-Virtual-Reality- (360-VR-) Projektion, wobei die Projektionsflächen eine erste Projektionsfläche und eine zweite Projektionsfläche aufweisen und es eine Bildinhaltskontinuitätskante zwischen einer Seite der ersten Projektionsfläche und einer Seite der zweiten Projektionsfläche gibt, wenn die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt; Generieren mindestens eines Auffüllbereichs durch eine Auffüllschaltung, wobei der mindestens eine Auffüllbereich einen ersten Auffüllbereich aufweist; und Kombinieren des mindestens einen Auffüllbereichs und der Projektionsflächen, wobei der erste Auffüllbereich die eine Seite der ersten Projektionsfläche und die eine Seite der zweiten Projektionsfläche berührt, um die eine Seite der ersten Projektionsfläche von der einen Seite der zweiten Projektionsfläche zu isolieren.
Videoverarbeitungsverfahren gemäß Anspruch 12, weiter umfassend: Codieren eines projektionsbasierten Rahmens mit dem mindestens einen Auffüllbereich und den Projektionsflächen, die in einer 360-VR-Projektionsanordnung gepackt sind, um einen Teil eines Bitstroms zu generieren.
Videoverarbeitungsverfahren gemäß Anspruch 12, wobei das Erhalten der Projektionsfläche umfasst: Decodieren eines Teils eines Bitstroms, um die Projektionsflächen zu erhalten, die in einer 360-VR-Projektionsanordnung gepackt sind, wobei gemäß der 360-VR-Projektionsanordnung die eine Seite der ersten Projektionsfläche die eine Seite der zweiten Projektionsfläche berührt.
Videoverarbeitungsverfahren gemäß Anspruch 12, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Anwenden einer Geometrieauffüllung auf die erste Projektionsfläche und die zweite Projektionsfläche, um Pixelwerte von Pixeln zu bestimmen, die in dem ersten Auffüllbereich enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 12, wobei das Generieren des mindestens einen Auffüllbereichs umfasst: Festlegen von Pixelwerten von Pixeln, die in dem ersten Auffüllbereich enthalten sind, durch ein Duplizieren von Pixelwerten von ersten Pixeln, die in der ersten Projektionsfläche enthalten sind, und Pixelwerten von zweiten Pixeln, die in der zweiten Projektionsfläche enthalten sind.
Videoverarbeitungsverfahren gemäß Anspruch 12, wobei ein erster projektionsbasierter Rahmen den mindestens einen Auffüllbereich und die Projektionsflächen aufweist, die in einer ersten 360-VR-Projektionsanordnung gepackt sind, und Pixel, die in dem mindestens einen Auffüllbereich enthalten sind, von einer Interpolation verwendet werden, welche zum Konvertieren des ersten projektionsbasierten Rahmens mit der ersten 360-VR-Projektionsanordnung zu einem zweiten projektionsbasierten Rahmen mit einer zweiten 360-VR-Projaktionsanordnung ausgeführt wird, wobei die zweite 360-VR-Projektionsanordnung zu der ersten 360-VR-Projektionsanordnung verschieden ist.
Videoverarbeitungsverfahren gemäß Anspruch 12, wobei ein erster projektionsbasierter Rahmen den mindestens einen Auffüllbereich und die Projektionsflächen aufweist, die in einer ersten 360-VR-Projektionsanordnung gepackt sind, und der erste projektionsbasierte Rahmen mit der ersten 360-VR-Projektionsanordnung zu einem zweiten projektionsbasierten Rahmen mit einer zweiten 360-VR-Projektionsanordnung konvertiert wird, wobei die zweite 360-VR-Projektionsanordnung zu der ersten 360-VR-Projektionsanordnung verschieden ist, und ein Pixel in dem zweiten projektionsbasierten Rahmen durch ein Ausführen einer Interpolation auf Pixel in dem ersten projektionsbasierten Rahmen bestimmt wird, wobei die Pixel entlang einer Projektionsrichtung angeordnet sind und die Projektionsrichtung keine gerade Richtung ist.
Videoverarbeitungsverfahren, umfassend: Empfangen eines Rundum-Inhalts, der zu einer Kugel korrespondiert; Erhalten einer Mehrzahl von Projektionsflächen von dem Rundum-Inhalt der Kugel, wobei die Projektionsflächen eine ersten Projektionsfläche, die zu einer Hauptansicht korrespondiert, und mindestens eine zweite Projektionsfläche, die zu einer Ansicht korrespondiert, die keine Hauptansicht ist, aufweisen; und Generieren eines projektionsbasierten Rahmens durch ein Packen der Projektionsflächen in eine viewport-basierte Projektionsanordnung und Anwenden einer Glättungsfilterung auf mindestens einen Teil der mindestens einen zweiten Projektionsfläche.
Videoverarbeitungsverfahren gemäß Anspruch 19, wobei die mindestens eine zweite Projektionsfläche einen ersten Bereich und einen zweiten Bereich aufweist, die zu unterschiedlichen Ansichtsfeld- (FOV-) Bereichen korrespondieren; und das Anwenden der Glättungsfilterung umfasst: Anwenden einer ersten Glättungsfilteroperation mit einer ersten Glättungsfilterstärke auf den ersten Bereich; und Anwenden einer zweiten Glättungsfilteroperation mit einer zweiten Glättungsfilterstärke auf den zweiten Bereich, wobei die zweite Glättungsfilterstärke zu der ersten Glättungsfilterstärke verschieden ist.