-
Querverweis auf verwandte Anwendungen
-
Diese Anmeldung beansprucht die Priorität unter 35 U.S.C. §119 der vorläufigen
U.S.-Anmeldung Nummer 62/481,714 , eingereicht am 5. April 2017, deren Inhalte hierdurch Bezugnahme eingeschlossen sind.
-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf ein Verarbeiten von Rundum-Bild-/Video-Inhalten, und genauer auf ein Verfahren und eine Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, welche unter Verwendung einer ungleichförmigen Abbildung generiert wird.
-
Hintergrund
-
Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) wird mit einer Vielfalt von Anwendungen in Verbindung gebracht. Die Möglichkeit, einem Benutzer ein weites Feld eines Ansichtsinhalts zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bild-/Video-Inhalt führt, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren eines solchen 360-Grad-Bild-/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Daten-Komprimierung/-Codierung kritisch für eine Bitratenreduktion.
-
Allgemein wird der Rundum-Bild-/Video-Inhalt, der zu der Kugel korrespondiert, in eine Sequenz von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild-/Video-Inhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Sequenz von projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Wenn der Rundum-Bild-/Video-Inhalt nicht geeignet auf eine Projektionsfläche (Projektionsflächen) projiziert wird, die in der 360-VR-Projektionsanordnung komprimiert sind, können die Bildqualität nach einer Komprimierung und/oder die Codierungs-Effizienz schlecht sein.
-
Zusammenfassung
-
Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren und eine Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, welche unter Verwendung einer ungleichförmigen Abbildung generiert wird, zur Verfügung zu stellen.
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Erhalten mindestens einer Projektionsfläche von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird, und die mindestens eine Projektionsfläche eine erste Projektionsfläche aufweist; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch erneutes Abtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche sich von der ersten Abtastdichte unterscheidet, hergeleitet wird; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der 360-VR-Projektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung komprimiert ist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen projektionsbasierten Rahmen zu generieren, wobei der projektionsbasierte Rahmen einen 360-Grad-Inhalt aufweist, der durch mindestens eine Projektionsfläche repräsentiert wird, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion komprimiert ist, und die mindestens eine Projektionsfläche eine erste Projektionsfläche mit mindestens einem Teil aufweist, der durch eine codierer-seitige ungleichförmige Abbildung erzeugt wird; und Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten des mindestens einen Teils der ersten Projektionsfläche durch eine Inverse der codierer-seitigen ungleichförmigen Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche sich von der ersten Abtastdichte unterscheidet, hergeleitet wird.
-
Zusätzlich werden Video-Verarbeitungsvorrichtungen, die zu den vorstehenden Video-Verarbeitungsverfahren gehören, zur Verfügung gestellt.
-
Diese und andere Aufgaben der vorliegenden Erfindung werden ohne Zweifel für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach dem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform offenbar, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist.
-
Figurenliste
-
- 1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 2 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine gleichförmige Abbildung darstellt.
- 3 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 4 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 5 ist ein Diagramm, das eine Kurve einer ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 6 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine inverse ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 7 ist ein Diagramm, das eine Kurve einer inversen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 8 ist ein Diagramm, das ein erstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 9 ist ein Diagramm, das ein zweites alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 10 ist ein Diagramm, das ein drittes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 11 ist ein Diagramm, das ein viertes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 12 ist ein Diagramm, das ein fünftes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 13 ist ein Diagramm, das ein sechstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 14 ist ein Diagramm, das ein siebtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 15 ist ein Diagramm, das ein achtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 16 ist ein Diagramm, das eine Kurve einer ersten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 17 ist ein Diagramm, das eine Kurve einer zweiten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 18 ist ein Diagramm, das eine Kurve einer dritten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 19 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine dreieckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 20 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine rechteckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 21 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine vierseitige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 22 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine kreisförmige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 23 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Äquirektangular-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 24 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Würfelabbildungsprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 25 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Segmentierte-Kugel-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 26 ist ein Diagramm, das eine ungleichförmige Abbildung für eine viewport-basierte Würfelprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 27 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 28 ist ein Diagramm, das eine andere ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
- 29 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
-
Detaillierte Beschreibung
-
Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden in der gesamten nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Hersteller elektronischer Ausrüstung durch unterschiedliche Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet, und sollten deshalb so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf ... “ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
-
1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Video-Verarbeitungsvorrichtungen (z.B. eine Quellelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellelektronikvorrichtung 102 weist eine Video-Aufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Die Konvertierungsschaltung 114 kann unter Verwendung einer Mehrzahl von Schaltungsblöcken, wie einer Projektionsschaltung (gekennzeichnet durch „CKT_PJ“) 132, einer Wiederabtastschaltung (gekennzeichnet durch „CKT_RS“) 134, einer Komprimierungsschaltung (gekennzeichnet durch „CKT_PK“) 136 und anderen Schaltung(en) (nicht gezeigt) implementiert sein. Zum Beispiel kann die Video-Aufnahmevorrichtung 112 ein Satz von Kameras sein, die verwendet werden, um einen Rundum-Bild-/Video-Inhalt (z.B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Video-Aufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG gemäß einer Projektionsanordnung L_VR des 360-VR-Projektionsformats und dem Rundum-Bild-/Video-Inhalt S_IN. Der projektionsbasierte Rahmen IMG kann ein Rahmen sein, der in einer Sequenz von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungs-Schaltung, die verwendet wird, um die projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Sequenz von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
-
Die Zielelektronikvorrichtung 104 kann eine Vorrichtung einer am Kopf befestigten Anzeige (HMD) sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 einen Video-Decodierer 122, eine graphische Wiedergabeschaltung 124 und einen Anzeigebildschirm 126 auf. Die graphische Wiedergabeschaltung 124 kann unter Verwendung einer Mehrzahl von Schaltungsblöcken, wie einer Dekomprimierungsschaltung (gekennzeichnet durch „CKT_UPK“) 142, einer Wiederabtastschaltung (gekennzeichnet durch „CKT_RS“) 144 und einer anderen Schaltung(en) (nicht gezeigt) implementiert sein. Der Video-Decodierer 122 empfängt den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. einer verdrahteten/drahtlosen Kommunikationsverbindung oder einem Speichermedium) und decodiert einen Teil des empfangenen Bitstroms BS, um einen decodierten projektionsbasierten Rahmen IMG' zu generieren. Zum Beispiel generiert der Video-Decodierer 122 eine Sequenz von decodierten Rahmen durch Decodieren des empfangenen Bitstroms BS, wobei der decodierte projektionsbasierte Rahmen IMG' ein Rahmen ist, der in der Sequenz von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der projektionsbasierte Rahmen IMG, der durch den Video-Codierer 116 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) zu codieren ist, eine Projektionsanordnung eines 360-VR-Projektionsformats auf. Daher weist, nachdem der Bitstrom BS durch die Decodier-Schaltung 122 auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) decodiert worden ist, der decodierte projektionsbasierte Rahmen IMG' das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung auf. Die graphische Wiedergabeschaltung 124 ist zwischen dem Video-Decodierer 124 und dem Anzeigebildschirm 126 angeschlossen. Die graphische Wiedergabeschaltung 124 gibt Ausgabebilddaten wieder und zeigt sie gemäß dem decodierten projektionsbasierten Rahmen IMG' auf dem Anzeigebildschirm 126 an. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild-/Video-Inhalts gehört, der durch den decodierten projektionsbasierten Rahmen IMG' übertragen wird, über die graphische Wiedergabeschaltung 124 auf dem Anzeigebildschirm 126 angezeigt werden.
-
In dieser Ausführungsform unterstützt die Konvertierungsschaltung 114 eine vorgeschlagene codierer-seitige Projektionsflächen-Wiederabtastfunktion, und die graphische Wiedergabeschaltung 124 unterstützt eine vorgeschlagene decodierer-seitige Projektionsflächen-Wiederabtastfunktion, wobei die decodierer-seitige Projektionsflächen-Wiederabtastfunktion eine Inverse der codierer-seitigen Projektionsflächen-Wiederabtastfunktion ist. Zum Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein Down-Sampling auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein Up-Sampling auf eine Projektionsfläche nach einem Decodieren ausführen. Als ein anderes Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein Up-Sampling auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein Down-Sampling auf eine Projektionsfläche nach einem Decodieren ausführen. Als noch ein anderes Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein erneutes Abtasten ohne eine Größenänderung auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein inverses erneutes Abtasten ohne eine Größenänderung auf eine Projektionsfläche nach einem Decodieren ausführen.
-
Insbesondere ist hinsichtlich der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) die Projektionsschaltung 132 eingerichtet, eine Projektionsfläche(n) von einem Rundum-Bild-/Video-Inhalt einer Kugel zu erhalten, wobei der Rundum-Bild-/Video-Inhalt der Kugel über eine 360-VR-Projektion auf die Projektionsfläche(n) abgebildet wird. Die Wiederabtastschaltung 134 ist eingerichtet, eine erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer Projektionsfläche der Projektionsfläche(n) durch eine ungleichförmige Abbildung zu erhalten. Die Komprimierungsschaltung 136 ist eingerichtet, den projektionsbasierten Rahmen IMG gemäß der Projektionsanordnung L_VR der 360-VR-Projektion zu generieren, wobei der projektionsbasierte Rahmen IMG die erneut abgetastete Projektionsfläche komprimiert in der Projektionsanordnung L_VR aufweist. Zusätzlich zu einer Wiederabtastfunktion mit einer ungleichförmigen Abbildung kann die Wiederabtastschaltung 134 auch eine Wiederabtastfunktion mit einer gleichförmigen Abbildung unterstützen. Weitere Details einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung werden wie folgt beschrieben.
-
Es sei auf
2 im Zusammenhang mit
3 verwiesen.
2 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine gleichförmige Abbildung darstellt.
3 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche
204 von einem Down-Sampling einer quadratischen Projektionsfläche (welche auch eine rechteckige Projektionsfläche ist)
202 in ihrer Höhenrichtung hergeleitet, wobei die quadratische Projektionsfläche
202 eine Breite w und eine Höhe H (H=w) aufweist, und die rechteckige Projektionsfläche
204 eine Breite w und eine Höhe h (h<H) aufweist. Das heißt, ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w wird durch eine gleichförmige Abbildung für ein Quadrat ausgeführt. Als Beispiel aber nicht als Einschränkung kann die gleichförmige Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden.
-
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in der Höhenrichtung sind zwei vertikal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 202 gleichmäßig mit einem konstanten Abstand D verteilt.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Fläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In einem anderen Fall, in welchem die rechteckige Projektionsfläche
204 von einem Down-Sampling der quadratischen Projektionsfläche
202 in ihrer Breitenrichtung hergeleitet wird. Die gleichförmige Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden.
-
In der Formel (2) kann H die Breite der quadratischen Projektionsfläche 202 repräsentieren, und h kann die Breite der rechteckigen Projektionsfläche 204 repräsentieren. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (2) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in der Breitenrichtung sind zwei horizontal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 202 mit einem konstanten Abstand gleichmäßig verteilt.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In noch einem anderen Fall wird die rechteckige Projektionsfläche 204 von einem Down-Sampling der quadratischen Projektionsfläche 202 in ihrer Höhenrichtung und Breitenrichtung hergeleitet. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (2) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in beiden der Höhenrichtung und der Breitenrichtung sind die Abtastpunkte in der rechteckigen Projektionsfläche 204 gleichmäßig verteilt.
-
Ein Abtastpunkt (d.h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
Um mehr Details für einen bestimmten Bereich (z.B. einen Bereich nah einer Hauptansicht oder einen Bereich nah einem Äquator) zu bewahren, schlägt die vorliegende Erfindung weiter ein erneutes Abtasten einer Projektionsfläche durch eine ungleichförmige Abbildung vor. Es sei auf
4 in Verbindung mit
5 verwiesen.
4 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
5 ist ein Diagramm, das eine Kurve einer ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche
404 von einem Down-Sampling einer quadratischen Projektionsfläche (welche ebenfalls eine rechteckige Projektionsfläche ist)
402 in ihrer Höhenrichtung hergeleitet, wobei die quadratische Projektionsfläche
402 eine Breite w und eine Höhe H (H=w) aufweist, und die rechteckige Projektionsfläche
404 eine Breite w und eine Höhe h (h<H) aufweist. Als Beispiel aber nicht als Einschränkung kann die ungleichförmige Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden.
-
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Wie in 4 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3 und D4 sein, wobei D4 > D3 > D2 > D1. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 406 der rechteckigen Projektionsfläche 404 durch erneutes Abtasten eines ersten Quellbereichs 410 der quadratischen Projektionsfläche 402 erhalten, und Pixel in einem zweiten erneut abgetasteten Bereich 408 der rechteckigen Projektionsfläche 404 werden durch erneutes Abtasten des zweiten Quellbereichs 412 der quadratischen Projektionsfläche 402 erhalten. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellbereich 410 erhalten werden, von der Dichte von Abtastpunkten, die von dem zweiten Quellbereich 412 erhalten werden, verschieden. Mit anderen Worten werden verschiedene Abtastraten in der Höhenrichtung der quadratischen Projektionsfläche 402 verwendet. Der erste erneut abgetastete Bereich 406 wird von einem erneuten Abtasten des ersten Quellbereichs 410 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und der zweite erneut abgetastete Bereich 408 wird von einem erneuten Abtasten des zweiten Quellbereichs 412 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
-
Um mehr Details für einen bestimmten Bereich (z.B. einen Bereich nah einer Hauptansicht oder einen Bereich nah einem Äquator) zu bewahren, werden die erste Abtastdichte und die zweite Abtastdichte durch die ungleichförmige Abbildung geeignet gesteuert. Angenommen, dass der erste Quellbereich 410 näher an einem Zentrum des Viewport des Benutzers oder näher an einem Äquator liegt, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte). Auf diese Weise werden die meisten der Pixel in der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten des ersten Quellbereichs 410 in der quadratischen Projektionsfläche 402 hergeleitet.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 eingesetzt werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In einem anderen Fall wird die rechteckige Projektionsfläche
404 von einem Down-Sampling der quadratischen Projektionsfläche
402 in ihrer Breitenrichtung hergeleitet. Die ungleichförmige Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden.
-
In der Formel (4) kann H die Breite der quadratischen Projektionsfläche 402 repräsentieren, und h kann die Breite der rechteckigen Projektionsfläche 404 repräsentieren. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte ungleichmäßig in der Breitenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Breitenrichtung wird ein erster erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten eines ersten Quellbereichs der quadratischen Projektionsfläche 402 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 wird von einem erneuten Abtasten eines zweiten Quellbereichs der quadratischen Projektionsfläche 402 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist. Wenn zum Beispiel der erste Quellbereich der quadratischen Projektionsfläche 402 näher an einem Zentrum des Viewports des Benutzers (oder näher an einem Äquator) liegt als der zweite Quellbereich der quadratischen Projektionsfläche 402, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte).
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In noch einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Höhenrichtung und Breitenrichtung hergeleitet wird. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der quadratischen Projektionsfläche 402 verteilt und sind auch ungleichmäßig in der Breitenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung und der Breitenrichtung wird ein erster erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten eines ersten Quellbereichs der quadratischen Projektionsfläche 402 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 wird von einem erneuten Abtasten eines zweiten Quellbereichs der quadratischen Projektionsfläche 402 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der zweiten Abtastdichte) verschieden ist. Wenn zum Beispiel der erste Quellbereich der quadratischen Projektionsfläche 402 näher an einem Zentrum des Viewports des Benutzers (oder näher an einem Äquator) liegt als der zweite Quellbereich der quadratischen Projektionsfläche 402, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte).
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate Y eines korrespondierenden Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
Hinsichtlich der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) ist der Video-Decodierer 122 eingerichtet, den Bitstrom BS zu empfangen und einen Teil des Bitstroms BS zu decodieren, um einen decodierten projektionsbasierten Rahmen IMG' zu generieren, wobei der decodierte projektionsbasierte Rahmen IMG' einen 360-Grad-Inhalt aufweist, der durch eine Projektionsfläche (Projektionsflächen) repräsentiert wird, die in der gleichen Projektionsanordnung L_VR der 360-VR-Projektion komprimiert sind, und die Projektionsfläche(n) enthalten eine Projektionsfläche mit mindestens einem Teil (d.h., ein Teil oder alles), der durch die codierer-seitige ungleichförmige Abbildung erzeugt wird. Die Dekomprimierungsschaltung 142 ist eingerichtet, die Projektionsfläche von dem decodierten projektionsbasierten Rahmen IMG' gemäß der Projektionsanordnung L_VR zu erhalten. Zum Beispiel kann die Projektionsanordnung L_VR, die durch die Quellelektronikvorrichtung 102 eingesetzt wird, über den Bitstrom BS an die Zielelektronikvorrichtung 104 signalisiert werden. Die Wiederabtastschaltung 144 ist eingerichtet, eine erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h. ein Teil oder alles) der Projektionsfläche durch eine Inverse der ungleichförmigen Abbildung zu erhalten. Mit anderen Worten kann eine Projektionsfläche, welche auf der Codierer-Seite erneut abgetastet wird, auf der Decodierer-Seite durch eine korrespondierende inverse Abbildungsfunktion wieder hergestellt werden.
-
Zusätzlich zu einer Wiederabtastfunktion mit einer inversen ungleichförmigen Abbildung kann die Wiederabtastschaltung 144 auch eine Wiederabtastfunktion mit einer inversen gleichförmigen Abbildung unterstützen. Die gleichförmige Abbildungsfunktion in 2 kann auch als eine inverse gleichförmige Abbildungsfunktion verwendet werden. Daher kann hinsichtlich einer Pixelposition in einer invers erneut abgetasteten Fläche ein korrespondierender Abtastpunkt, der sich in einer Projektionsfläche befindet, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Ein Abtastpunkt in der Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, mag keine ganzzahlige Position sein. Ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) kann auf ganzzahlige Pixel um den Abtastpunkt in der Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
Es sei auf 6 in Verbindung mit 7 verwiesen. 6 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine inverse ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 7 ist ein Diagramm, das eine Kurve einer inversen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie vorstehend erwähnt, kann die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Höhenrichtung hergleitet werden und in dem projektionsbasierten Rahmen IMG für ein Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert werden. In diesem Beispiel wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Höhenrichtung höher abgetastet), um eine quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wiederherzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen. Wie in 6 gezeigt, weist die quadratische Projektionsfläche 402' eine Breite w und eine Höhe H (H=w) auf, und die rechteckige Projektionsfläche 404 weist eine Breite w und eine Höhe h (h<H) auf. Als Beispiel aber nicht als Einschränkung kann die inverse ungleichförmige Abbildungsfunktion, wie in 7 gezeigt, eine Inverse der ungleichförmigen Abbildungsfunktion sein, die in der Formel (3) ausgedrückt ist.
-
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, von der inversen ungleichförmigen Abbildungsfunktion bestimmt werden. Wie in 6 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3, D4, D5 und D6 sein, wobei D6 > D5 > D4 > D3 > D2 > D1. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der rechteckigen Projektionsfläche 404 verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 606 der quadratischen Projektionsfläche 402' durch erneutes Abtasten eines ersten Quellbereichs 610 der rechteckigen Projektionsfläche 404 erhalten, und Pixel in einem zweiten erneut abgetasteten Bereich 608 der quadratischen Projektionsfläche 402' werden durch erneutes Abtasten des zweiten Quellbereichs 612 der rechteckigen Projektionsfläche 404 erhalten. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellbereich 610 erhalten werden, von der Dichte von Abtastpunkten, die von dem zweiten Quellbereich 612 erhalten werden, verschieden. Mit anderen Worten werden in der Höhenrichtung der rechteckigen Projektionsfläche 404 verschiedene Abtastraten verwendet. Der erste erneut abgetastete Bereich 606 wird von einem erneuten Abtasten des ersten Quellbereichs 610 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) erhalten, und der zweite erneut abgetastete Bereich 608 wird von einem erneuten Abtasten des zweiten Quellbereichs 612 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) erhalten, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate y' eines Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Breitenrichtung hergeleitet und in dem projektionsbasierten Rahmen IMG zum Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert wird, wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Breitenrichtung höher abgetastet), um die quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wieder herzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen. Die inverse ungleichförmige Abbildungsfunktion kann durch eine Inverse der ungleichförmigen Abbildungsfunktion festgelegt werden, die in der Formel (4) ausgedrückt ist.
-
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte in der Breitenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Breitenrichtung wird ein erster erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' von einem erneuten Abtasten eines ersten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' wird von einem erneuten Abtasten eines zweiten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die erste Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate x' eines Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In noch einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Breitenrichtung und Höhenrichtung hergeleitet wird und in dem projektionsbasierten Rahmen IMG zum Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert wird, wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Breitenrichtung und Höhenrichtung höher abgetastet), um die quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wieder herzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen.
-
Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate Y einer y-Achse der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte in der Höhenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt und sind auch in der Breitenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung und der Breitenrichtung wird ein erster erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' von einem erneuten Abtasten eines ersten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich in der quadratischen Projektionsfläche 402' wird von einem erneuten Abtasten eines zweiten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
-
Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate x' und einer y-Achsen-Koordinate y' eines korrespondierenden Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
-
In den vorstehenden Wiederabtast-Beispielen, die in 4 und 6 gezeigt sind, wird eine erneut abgetastete Projektionsfläche durch ein erneutes Abtasten einer Projektionsfläche durch eine codierer-seitige ungleichförmige Abbildung (oder eine decodierer-seitige inverse ungleichförmige Abbildung) erhalten, wobei die erneut abgetastete Projektionsfläche und die Projektionsfläche den gleichen Formtyp (z.B. die Form eines Rechtecks) aber unterschiedliche Größen aufweisen. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein.
-
8 ist ein Diagramm, das ein erstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel weisen die erneut abgetastete Projektionsfläche und die Quellprojektionsfläche den gleichen Formtyp (z.B. die Form eines Dreiecks) aber unterschiedliche Größen auf. Insbesondere wird ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) für ein Dreieck ausgeführt.
-
9 ist ein Diagramm, das ein zweites alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel weisen die erneut abgetastete Projektionsfläche und die Quellprojektionsfläche unterschiedliche Formtypen (z.B. die Form eines Rechtecks und die Form eines Trapezes) auf. Insbesondere wird ein erneutes Abtasten eines Rechtecks zu einem Trapez durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt.
-
In den vorstehenden Wiederabtastbeispielen, die in 4 und 6 gezeigt sind, wird die erneut abgetastete Projektionsfläche durch Anwenden einer codierer-seitigen ungleichförmigen Abbildung (oder einer decodierer-seitigen inversen ungleichförmigen Abbildung) auf die gesamte Quellprojektionsfläche erhalten. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. 10 ist ein Diagramm, das ein drittes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung auf nur einen Teil einer Projektionsfläche ausgeführt. Die erneut abgetastete quadratische Projektionsfläche 1004 mit einer Höhe h und einer Breite w wird von der rechteckigen Projektionsfläche 1002 mit einer Höhe H und einer Breite w erhalten. Die erneut abgetastete quadratische Projektionsfläche 1004 weist einen oberen Teil 1008 und einen unteren Teil 1006 auf. Die rechteckige Projektionsfläche weist einen oberen Teil 1012 und einen unteren Teil 1010 auf. Ein Down-Sampling von der Höhe H zu der Höhe h mit der gleichen Breite w wird durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei die ungleichförmige Abbildung (oder die inverse ungleichförmige Abbildung) nur auf den oberen Teil 1012 ausgeführt wird. In diesem Beispiel bleibt der untere Teil 1010 der gleiche, sodass der untere Teil 1006 der erneut abgetasteten quadratischen Projektionsfläche 1004 direkt durch den unteren Teil 1010 der rechteckigen Projektionsfläche 1002 festgelegt ist. Daher ist ein Bildinhalt des unteren Teils 1006 der erneut abgetasteten quadratischen Projektionsfläche 1004 der gleiche wie der Bildinhalt des unteren Teils 1010 der rechteckigen Projektionsfläche 1002.
-
Wie in 10 gezeigt, kann ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. Alternativ kann ein Up-Sampling durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. 11 ist ein Diagramm, das ein viertes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel kann ein Up-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt werden.
-
Wie in 10 und 11 gezeigt, weisen die Quellprojektionsfläche (d.h., eine Projektionsfläche, die vor einem erneuten Abtasten verfügbar ist) und die erneut abgetastete Projektionsfläche (d.h., eine Projektionsfläche, die nach einem erneuten Abtasten verfügbar ist) unterschiedliche Größen auf. Alternativ kann ein erneutes Abtasten ohne eine Größenänderung durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. 12 ist ein Diagramm, das ein fünftes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein erneutes Abtasten mit der gleichen Breite w und Höhe h durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt. Daher weisen die Quellprojektionsfläche und die erneut abgetastete Projektionsfläche den gleichen Formtyp und die gleiche Größe auf, aber weisen unterschiedliche Bildinhalte auf.
-
Die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) können entlang nur einer einzelnen Abbildungsrichtung ausgeführt werden oder können entlang verschiedener Abbildungsrichtungen ausgeführt werden. Zum Beispiel kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) entlang der x-Achsen-Richtung, der y-Achsen-Richtung oder beiden ausgeführt werden. In einigen Ausführungsformen der vorliegenden Erfindung brauchen unterschiedliche Abbildungsrichtungen der ungleichförmigen Abbildung (oder der inversen ungleichförmigen Abbildung) nicht notwendigerweise orthogonal zu sein.
-
13 ist ein Diagramm, das ein sechstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein Y-Achsen-Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an der Mitte der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
-
14 ist ein Diagramm, das ein siebtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein zweidimensionales Down-Sampling von einer Höhe H und einer Breite W zu einer Höhe h und einer Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an der unteren rechten Ecke der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
-
15 ist ein Diagramm, das ein achtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein zweidimensionales Down-Sampling von einer Höhe H und einer Breite W zu einer Höhe h und einer Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an dem Zentrum der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
-
Es sollte beachtet werden, dass die vorstehend genannten ungleichförmigen Abbildungsfunktionen darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. In einigen Ausführungsformen der vorliegenden Erfindung kann eine unterschiedliche ungleichförmige Abbildungsfunktion durch die Wiederabtastschaltung 134 der Quellelektronikvorrichtung 102 zum erneuten Abtasten der Form eingesetzt werden. Andere ungleichförmige Abbildungsfunktionen für eine y-Achsen-Wiederabtastung sind in 16-18 dargestellt. Es sollte beachtet werden, dass die ungleichförmigen Abbildungsfunktionen, die in 16-18 dargestellt sind, auch für eine x-Achsen-Wiederabtastung verwendet werden können. Weiter wird, wenn eine ungleichförmige Abbildungsfunktion durch die Wiederabtastschaltung 134 der Quellelektronikvorrichtung 102 zum erneuten Abtasten der Form eingesetzt wird, eine Inverse der ungleichförmigen Abbildungsfunktion durch die Wiederabtastschaltung 144 der Zielelektronikvorrichtung 104 zum inversen erneuten Abtasten der Form eingesetzt.
-
In der Praxis kann die ungleichförmige Abbildungsfunktion unter Verwendung einer nicht-abnehmenden Funktion, die durch (0, 0) und (1, 1) verläuft, implementiert werden. Das heißt, eine Kurve der nicht-abnehmenden ungleichförmigen Abbildungsfunktion beginnt bei (0, 0) und endet bei (1, 1). In einer beispielhaften ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt einer ungleichförmigen Abbildung zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte), und der Endpunkt der ungleichförmigen Abbildung korrespondiert zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte). Das Y-Achsen-Down-Sampling in 13 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung bei der Mitte der Quellprojektionsfläche. Das zweidimensionale Down-Sampling in 14 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung an der unteren rechten Ecke der Quellprojektionsfläche. Das zweidimensionale Down-Sampling in 15 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung bei dem Zentrum der Quellprojektionsfläche. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In einer anderen beispielhaften ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der ungleichförmigen Abbildung zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte), und der Endpunkt der ungleichförmigen Abbildung korrespondiert zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte).
-
Wie die ungleichförmige Abbildungsfunktion ist auch die korrespondierende inverse ungleichförmige Abbildungsfunktion eine nicht-abnehmende Funktion, die durch (0, 0) und (1, 1) verläuft. In einer beispielhaften inversen ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der inversen ungleichförmigen Abbildung zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte), und der Endpunkt der inversen ungleichförmigen Abbildung korrespondiert zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte). In einer anderen beispielhaften inversen ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der inversen ungleichförmigen Abbildung zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte), und der Endpunkt der inversen ungleichförmigen Abbildung korrespondiert zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte).
-
Die ungleichförmige Abbildungsfunktion kann verschiedene Typen aufweisen. Als Beispiel aber nicht als Einschränkung kann die ungleichförmige Abbildungsfunktion eine flächentreue Abbildungsfunktion, eine winkeltreue Abbildungsfunktion, eine stückweise lineare Funktion, eine Exponentialfunktion, eine Polynomfunktion oder eine Potenzfunktion sein.
-
Wie vorstehend erwähnt, kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) entlang nur einer einzelnen Abbildungsrichtung ausgeführt werden oder kann entlang unterschiedlicher Abbildungsrichtungen ausgeführt werden. In der Praxis kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) in jeder (alle) Richtung(en) angewendet werden, abhängig von den tatsächlichen Auslegungsüberlegungen.
-
19 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine dreieckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer dreieckigen Projektionsfläche in Richtung verschiedener Endpunkte in der dreieckigen Projektionsfläche sind. Das Unter-Diagramm (B) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, welche entgegengesetzt zu den radialen Richtungen sind. Das Unter-Diagramm (C) zeigt zwei Arten von Abbildungsrichtungen, die in einer dreieckigen Projektionsfläche angewendet werden. Das Unter-Diagramm (D) zeigt eine Abbildungsrichtung von einem Eckpunkt einer dreieckigen Projektionsfläche in Richtung einer Kante der dreieckigen Projektionsfläche. Das Unter-Diagramm (E) zeigt eine Abbildungsrichtung von einer Kante einer dreieckigen Projektionsfläche in Richtung eines Eckpunkts der dreieckigen Projektionsfläche. Das Unter-Diagramm (F) zeigt eine Abbildungsrichtung von einem Eckpunkt einer dreieckigen Projektionsfläche in Richtung eines anderen Eckpunkts der dreieckigen Projektionsfläche. Das Unter-Diagramm (G) zeigt eine Abbildungsrichtung von einer Kante einer dreieckigen Projektionsfläche in Richtung einer anderen Kante der dreieckigen Projektionsfläche. Das Unter-Diagramm (H) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer dreieckigen Projektionsfläche befinden, in Richtung von Endpunkten in der dreieckigen Projektionsfläche. Das Unter-Diagramm (I) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer dreieckigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der dreieckigen Projektionsfläche befinden.
-
20 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine rechteckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt zwei Arten von Abbildungsrichtungen, die in einer rechteckigen Projektionsfläche angewendet werden. Das Unter-Diagramm (B) zeigt eine Abbildungsrichtung von einer Kante einer rechteckigen Projektionsfläche in Richtung einer anderen Kante der rechteckigen Projektionsfläche. Das Unter-Diagramm (C) zeigt eine Abbildungsrichtung von einem Eckpunkt einer rechteckigen Projektionsfläche in Richtung eines anderen Eckpunkts der rechteckigen Projektionsfläche. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer rechteckigen Projektionsfläche befinden, in Richtung von Endpunkten in der rechteckigen Projektionsfläche. Das Unter-Diagramm (E) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer rechteckigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer rechteckigen Projektionsfläche befinden. Das Unter-Diagramm (F) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer rechteckigen Projektionsfläche sind, in Richtung von verschiedenen Endpunkten in der rechteckigen Projektionsfläche. Das Unter-Diagramm (G) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, die entgegengesetzt zu den radialen Richtungen sind.
-
21 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine vierseitige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Abbildungsrichtung von einer Kante einer vierseitigen Projektionsfläche in Richtung einer anderen Kante der vierseitigen Projektionsfläche. Das Unter-Diagramm (B) zeigt eine Abbildungsrichtung von einem Eckpunkt einer vierseitigen Projektionsfläche in Richtung eines anderen Eckpunkts der vierseitigen Projektionsfläche. Das Unter-Diagramm (C) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer vierseitigen Projektionsfläche befinden, in Richtung von Endpunkten in der vierseitigen Projektionsfläche. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer vierseitigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der vierseitigen Projektionsfläche befinden. Das Unter-Diagramm (E) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer vierseitigen Projektionsfläche sind, in Richtung von unterschiedlichen Endpunkten in der vierseitigen Projektionsfläche. Das Unter-Diagramm (F) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, welche entgegengesetzt zu den radialen Richtungen sind. Das Unter-Diagramm (G) zeigt zwei Arten von Abbildungsrichtungen, die in einer vierseitigen Projektionsfläche angewendet werden.
-
22 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine kreisförmige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer kreisförmigen Projektionsfläche befinden, in Richtung von Endpunkten in der kreisförmigen Projektionsfläche. Das Unter-Diagramm (B) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer kreisförmigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der kreisförmigen Projektionsfläche befinden. Das Unter-Diagramm (C) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen von unterschiedlichen Startpunkten in einer kreisförmigen Projektionsfläche in Richtung des gleichen Endpunkts in der kreisförmigen Projektionsfläche sind. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen sind, welche entgegengesetzt zu den konzentrierten Richtungen sind. Das Unter-Diagramm (E) zeigt zwei Arten von Abbildungsrichtungen, die in einer kreisförmigen Projektionsfläche angewendet werden. Die in 22 gezeigten beispielhaften Abbildungsrichtungen können auch durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) in einer ovalen Projektionsfläche eingesetzt werden.
-
Wie vorstehend erwähnt, generiert die Wiederabtastschaltung 134 erneut abgetastete Projektionsfläche(n), und die Komprimierungsschaltung 136 generiert den projektionsbasierten Rahmen IMG mit der (den) erneut abgetasteten Projektionsfläche(n) komprimiert in der Projektionsanordnung L_VR des 360-VR-Projektionsformats. In der Praxis kann das 360-VR-Projektionsformat jedes Projektionsformat sein. Als Beispiel aber nicht als Einschränkung ist die ungleichförmige Abbildung / inverse ungleichförmige Abbildung auf eine Vielfalt von Projektionsformaten anwendbar, einschließlich einer Äquirektangular-Projektion, einer Würfelabbildungs-Projektion, einer Pyramiden-Projektion, einer Abgeschnittene-Kugel-Pyramiden-Projektion, einer viewport-basierten Würfel-Projektion, einer Oktaeder-Projektion, einer Tetraeder-Projektion, einer Tetraeder-Quarzbasis-Projektion, einer Ikosaeder-Projektion, einer Hexagon-Quarzbasis-Projektion, einer Segmentierte-Kugel-Projektion, usw.
-
23 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Äquirektangular-Projektion (ERP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Projektionsschaltung
132 kann eine einzelne Projektionsfläche über eine Äquirektangular-Projektion eines Rundum-Bild-/Video-Inhalts einer Kugel erhalten. Die Wiederabtastschaltung
134 kann eine ungleichförmige Abbildung auf die ERP-Fläche in einer y-Achsenrichtung (d.h., einer Breitengrad-Richtung der ERP-Fläche) anwenden, wobei die Abtastrate (Abtastdichte) höher ist, wenn die Abtastpunkte in der ERP-Fläche näher an dem Äquator liegen. In einer beispielhaften Auslegung kann die ungleichförmige Abbildungsfunktion durch eine flächentreue Abbildungsfunktion festgelegt sein, die in der nachfolgenden Formel mit dem Breitengrad
φ ausgedrückt ist.
-
In einer anderen beispielhaften Auslegung kann die ungleichförmige Abbildungsfunktion durch eine Potenzfunktion festgelegt sein, die in der nachfolgenden Formel mit dem Breitengrad
φ ausgedrückt ist.
-
Diese sind jedoch nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der ERP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
24 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Würfelabbildungsprojektion (CMP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt einer Kugel 2402 wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche, eine untere Fläche, eine vordere Fläche, eine hintere Fläche, eine linke Fläche und eine rechte Fläche umfassen. Gemäß der allgemeinen Würfelabbildungsprojektion werden gleiche Grade von Winkeln auf eine Fläche mit unterschiedlichen Pixelanzahlen projiziert, was zu einem Über-Abtasten an den Grenzen der Fläche führt. Nachdem die quadratischen Projektionsflächen durch die Projektionsschaltung 132 über die Würfelabbildungsprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden ist, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens einer der quadratischen Flächen anwenden, wobei die Abtastrate (Abtastdichte) höher ist, wenn Abtastpunkte in einer quadratischen Projektionsfläche näher an dem Äquator liegen. Zum Beispiel kann eine erneut abgetastete quadratische Projektionsfläche äquivalent zu einer winkeltreuen Projektionsfläche sein, die durch Projizieren gleicher Grade von Winkeln mit gleichen Pixelanzahlen erhalten wird, wobei jeder Abstand zwischen zwei Abtastpunkten den gleichen Winkel auf der Kugel 2402 aufweist. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
25 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Segmentierte-Kugel-Projektion (SSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie in dem Unter-Diagramm (A) gezeigt, wird eine Oberfläche der Kugel 2402 in einen Nordpolarbereich 2516, der an dem Nordpol zentriert ist, einen Südpolarbereich 2520, der an dem Südpol zentriert ist, und ein nicht-polares ringförmiges Segment (z.B. ein Äquatorialsegment) 2518 zwischen dem Nordpolarbereich 2516 und dem Südpolarbereich 2520 unterteilt. Ein Breitengrad eines Äquators der Kugel 2402 ist 0°. Wie in 25 gezeigt, ist der niedrigste Breitengrad des Nordpolarbereichs 2516 durch θ bezeichnet, und der höchste Breitengrad des Südpolarbereichs 2520 ist durch φ bezeichnet. Es sollte beachtet werden, dass θ gleich oder verschieden von φ sein kann, abhängig von den tatsächlichen Auslegungsüberlegungen. Zum Beispiel kann gelten: θ=φ=45°. Gemäß einer SSP wird der Nordpolarbereich 2516 der Kugel 2402 auf eine erste kreisförmige Projektionsfläche (gekennzeichnet durch „Nordpol“) 2502 projiziert/abgebildet, der Südpolarbereich 2520 wird auf eine zweite kreisförmige Projektionsfläche (gekennzeichnet durch „Südpol“) 2506 projiziert/abgebildet, und das nicht-polare ringförmige Segment 2518 wird auf eine rechteckige Projektionsfläche (gekennzeichnet durch „B“) 2504 projiziert/abgebildet.
-
Nachdem die erste kreisförmige Projektionsfläche 2502, die rechteckige Projektionsfläche 2504 und die zweite kreisförmige Projektionsfläche 2506 durch die Projektionsschaltung 132 über die Segmentierte-Kugel-Projektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens eine der ersten kreisförmigen Projektionsfläche 2502, der rechteckigen Projektionsfläche 2504 und der zweiten kreisförmigen Projektionsfläche 2506 ausführen. In diesem Beispiel wird jede der ersten kreisförmigen Projektionsfläche 2502 und der zweiten kreisförmigen Projektionsfläche 2506 durch eine ungleichförmige Abbildung zu einer anderen Form (z.B. der Form eines Rechtecks) erneut abgetastet. Daher erhält die Wiederabtastschaltung 134 eine erste rechteckige Projektionsfläche (gekennzeichnet durch „A“) 2512 durch ein erneutes Abtasten der ersten kreisförmigen Projektionsfläche 2502, und erhält eine zweite rechteckige Projektionsfläche (gekennzeichnet durch „C“) 2514 durch ein erneutes Abtasten der zweiten kreisförmigen Projektionsfläche 2506. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der SSP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
Wie in dem Unter-Diagramm (B) gezeigt, werden die erneut abgetasteten Projektionsflächen (d.h., die erste rechteckige Projektionsfläche 2512 und die zweite rechteckige Projektionsfläche 2514) und die rechteckige Projektionsfläche 2504 in einer Projektionsanordnung 2510 des SSP-Formats komprimiert. Da jede der Projektionsflächen 2512, 2514 und 2504 die Form eines Rechtecks aufweist, braucht der projektionsbasierte Rahmen IMG mit der Projektionsanordnung 2510 keine Auffüllbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) darin aufgefüllt aufzuweisen.
-
26 ist ein Diagramm, das eine ungleichförmige Abbildung für eine viewport-basierte Würfelprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche (gekennzeichnet durch „Top“), eine untere Fläche (gekennzeichnet durch „Bottom“), eine vordere Fläche (gekennzeichnet durch „Front“), eine hintere Fläche (gekennzeichnet durch „Back“), eine linke Fläche (gekennzeichnet durch „Left“) und eine rechte Fläche (gekennzeichnet durch „Right“) einschließen. Nachdem die quadratischen Projektionsflächen durch die Projektionsschaltung 132 über die Würfelabbildungsprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsflächen ausführen. Zum Beispiel wird jede der oberen Fläche, der linken Fläche, der unteren Fläche, der rechten Fläche und der hinteren Fläche durch die ungleichförmige Abbildung herunterskaliert. Als ein anderes Beispiel kann auch die vordere Fläche durch eine ungleichförmige Abbildung erneut abgetastet werden.
-
Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in der quadratischen Projektionsfläche näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine rechteckige Projektionsfläche ist) als Beispiel nehmend werden Pixel nahe der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Seite (welche eine quadratische Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „Bottom“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche (welche eine erneut abgetastete Projektionsfläche ist), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der viewport-basierten Würfelprojektionsanordnung 2610, wobei die erneut abgetastete untere Fläche gleichmäßig in vier Teile B0 , B1 , B2 , B3 geteilt ist, die jeweils an vier Ecken der viewport-basierten Würfelprojektionsanordnung 2610 angeordnet sind.
-
27 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion (TSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Abgeschnittene-Quadratische-Pyramiden-Projektion auf zwei quadratische Projektionsflächen (d.h., eine vordere durch „Front“ gekennzeichnete Fläche und eine hintere durch „Back“ gekennzeichnete Fläche) und vier trapezförmige Projektionsflächen (d.h., eine obere durch „Top“ gekennzeichnete Fläche, eine rechte durch „Right“ gekennzeichnete Fläche, eine untere durch „Bottom“ gekennzeichnete Fläche und eine linke durch „Left“ gekennzeichnete Fläche) abgebildet/projiziert. Nachdem die quadratischen Projektionsflächen und die trapezförmigen Projektionsflächen der abgeschnittenen quadratischen Pyramide durch die Projektionsschaltung 132 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens eine der quadratischen Projektionsflächen und der trapezförmigen Projektionsflächen anwenden. Zum Beispiel können die quadratischen Projektionsflächen und die trapezförmigen Projektionsflächen jeweils unter Verwendung verschiedener ungleichförmiger Abbildungsrichtungen erneut abgetastet werden.
-
Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der trapezförmigen Projektionsflächen) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine trapezförmige Projektionsfläche ist) als Beispiel nehmend werden Pixel nah an der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine trapezförmige Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Fläche (welche eine trapezförmige Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der TSP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine untere Fläche „Bottom“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche „Back“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann) und eine rechte Fläche „R“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann) in die Abgeschnittene-Quadratische-Pyramiden-Projektionsanordnung 2710.
-
28 ist ein Diagramm, das eine andere ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion (TSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche (gekennzeichnet durch „Top“), eine untere Fläche (gekennzeichnet durch „Bottom“), eine vordere Fläche (gekennzeichnet durch „Front“), eine hintere Fläche (gekennzeichnet durch „Back“), eine linke Fläche (gekennzeichnet durch „Left“) und eine rechte Fläche (gekennzeichnet durch „Right“) einschließen. Nachdem die quadratischen Projektionsflächen eines Würfels durch die Projektionsschaltung 132 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsflächen ausführen. Zum Beispiel wird jede der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche (welche quadratische Projektionsflächen sind) durch eine ungleichförmige Abbildung zu einer anderen Form (z.B. einer Form eines Trapezes) erneut abgetastet, und die hintere Fläche (welche eine quadratische Projektionsfläche ist) wird durch eine ungleichförmige Abbildung ohne eine Formtypveränderung herunterskaliert. In einigen Ausführungsformen der vorliegenden Erfindung können die quadratischen Projektionsflächen jeweils unter Verwendung von verschiedenen ungleichförmigen Abbildungsrichtungen erneut abgetastet werden.
-
Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine trapezförmige Projektionsfläche ist) als Beispiel nehmend werden Pixel nah an der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „Bottom“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche „Back“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der Abgeschnittene-Quadratische-Pyramiden-Projektionsanordnung 2710.
-
29 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Pyramidenprojektion auf eine quadratische Projektionsfläche (d.h., eine durch „Front“ gekennzeichnete vordere Fläche) und vier dreieckige Projektionsflächen (d.h., eine durch „U“ gekennzeichnete obere Fläche, eine durch „L“ gekennzeichnete linke Fläche, eine durch „B“ gekennzeichnete untere Fläche und eine durch „R“ gekennzeichnete rechte Fläche) abgebildet/projiziert. In diesem Beispiel weist jede der dreieckigen Projektionsflächen, die durch die Pyramidenprojektion erhalten werden, die Form eines gleichschenkligen Dreiecks auf. Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die Projektionsanordnung L_VR durch die entfaltete Pyramidenanordnung 2920 festgelegt ist, müssen Auffüllbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) in dem projektionsbasierten Rahmen IMG aufgefüllt werden. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung eine kompakte Pyramidenanordnung 2910 vor.
-
Nachdem eine quadratische Projektionsfläche (d.h., eine vordere Fläche) und vier dreieckige Projektionsflächen (d.h., eine obere Fläche, eine linke Fläche, eine untere Fläche und eine rechte Fläche) durch die Projektionsschaltung 132 über die Pyramidenprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsfläche (d.h., der vorderen Fläche) und der dreieckigen Projektionsflächen (d.h., der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) ausführen. Zum Beispiel wird jede der dreieckigen Projektionsflächen (d.h., der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) zu einer anderen Form (z.B. der Form eines gleichschenkligen rechtwinkligen Dreiecks) erneut abgetastet. Insbesondere werden die gleichschenklig dreieckig geformten Projektionsflächen mit einer Höhe H jeweils zu den gleichschenklig rechtwinklig dreieckig geformten Projektionsflächen mit einer Höhe h herunterskaliert.
-
Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der dreieckigen Projektionsflächen) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche die Form eines gleichschenklig-rechtwinkligen Dreiecks aufweist) als Beispiel nehmend werden Pixel eines ersten erneut abgetasteten Bereichs A1 durch ein erneutes Abtasten eines ersten Quellbereichs der ursprünglichen rechten Fläche (welche die Form eines gleichschenklig-rechtwinkligen Dreiecks aufweist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel eines zweiten erneut abgetasteten Bereichs A2 werden durch ein erneutes Abtasten eines zweiten Quellbereichs der ursprünglichen rechten Fläche (welche die Form eines gleichschenkligen Dreiecks aufweist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der Pyramidenprojektionsfläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
-
Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „U“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „B“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der kompakten Pyramidenprojektionsanordnung 2910. Da die kompakte Pyramidenprojektionsanordnung 2910 die Form eines Rechtecks aufweist, braucht der projektionsbasierte Rahmen IMG mit der kompakten Pyramidenanordnung 2910 keinen Auffüllbereich (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) darin aufgefüllt aufzuweisen.
-
Es sollte beachtet werden, dass Projektionsflächen, die über eine 360-VR-Projektion erhalten werden, jeweils unter Verwendung von unterschiedlichen Abbildungsfunktionen erneut abgetastet werden können. Zum Beispiel erhält die Wiederabtastschaltung 134 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer ersten Projektionsfläche durch eine ungleichförmige Abbildung, und erhält eine zweite erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer zweiten Projektionsfläche durch eine ungleichförmige Abbildung (oder eine gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten der ersten Projektionsfläche eingesetzt wird, die von der Projektionsschaltung 132 generiert wird, von einer Abbildungsfunktion, die für das erneute Abtasten der zweiten Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, verschieden ist.
-
Ähnlich können Projektionsflächen, die von einem decodierten projektionsbasierten Rahmen erhalten werden, jeweils unter Verwendung von verschiedenen inversen Abbildungsfunktionen erneut abgetastet werden. Zum Beispiel erhält die Wiederabtastschaltung 144 auf der Decodierer-Seite (d.h. der Zielelektronikvorrichtung 104) eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer ersten Projektionsfläche durch eine inverse ungleichförmige Abbildung, und erhält eine zweite erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer zweiten Projektionsfläche durch eine inverse ungleichförmige Abbildung (oder eine inverse gleichförmige Abbildung), wobei eine inverse Abbildungsfunktion, die für das erneute Abtasten der ersten Projektionsfläche, die von der Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, von einer inversen Abbildungsfunktion, die für das erneute Abtasten der zweiten Projektionsfläche, die von der Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, verschieden ist.
-
Weiter können verschiedene Abbildungsfunktionen für ein erneutes Abtasten einer Projektionsfläche, die über eine 360-VR-Projektion erhalten wird, kombiniert werden. Zum Beispiel erhält die Wiederabtastschaltung 134 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) einen ersten Teil einer erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines ersten Teils einer Projektionsfläche durch eine ungleichförmige Abbildung, und erhält einen zweiten Teil der erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines zweiten Teils der gleichen Projektionsfläche durch eine ungleichförmige Abbildung (oder eine gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, eingesetzt wird, verschieden ist.
-
Ähnlich können verschiedene inverse Abbildungsfunktionen für ein erneutes Abtasten einer Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, kombiniert werden. Zum Beispiel erhält die Wiederabtastschaltung 144 auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) einen ersten Teil einer erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines ersten Teils einer Projektionsfläche durch eine inverse ungleichförmige Abbildung, und erhält einen zweiten Teil der erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines zweiten Teils der gleichen Projektionsfläche durch eine inverse ungleichförmige Abbildung (oder eine inverse gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der Projektionsfläche, die durch die Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der Projektionsfläche, die durch die Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, verschieden ist.
-
Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Änderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung nur als durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-