DE112018000660T5 - Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird - Google Patents

Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird Download PDF

Info

Publication number
DE112018000660T5
DE112018000660T5 DE112018000660.3T DE112018000660T DE112018000660T5 DE 112018000660 T5 DE112018000660 T5 DE 112018000660T5 DE 112018000660 T DE112018000660 T DE 112018000660T DE 112018000660 T5 DE112018000660 T5 DE 112018000660T5
Authority
DE
Germany
Prior art keywords
projection
projection surface
resampled
resampling
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018000660.3T
Other languages
English (en)
Inventor
Ya-Hsuan Lee
Peng Wang
Jian-Liang Lin
Shen-Kai Chang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of DE112018000660T5 publication Critical patent/DE112018000660T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

Ein Video-Verarbeitungsverfahren umfasst ein Erhalten einer Projektionsfläche (von Projektionsflächen) von einem Rundum-Inhalt einer Kugel und ein Erhalten einer erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils einer Projektionsfläche der Projektionsfläche(n) durch eine ungleichförmige Abbildung. Der Rundum-Inhalt der Kugel wird über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die Projektionsfläche(n) abgebildet. Die Projektionsfläche weist einen ersten Quellbereich und einen zweiten Quellbereich auf. Die erneut abgetastete Projektionsfläche weist einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich auf. Der erste erneut abgetastete Bereich wird von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet. Der zweite erneut abgetastete Bereich wird von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche von der ersten Abtastdichte verschieden ist, hergeleitet.

Description

  • Querverweis auf verwandte Anwendungen
  • Diese Anmeldung beansprucht die Priorität unter 35 U.S.C. §119 der vorläufigen U.S.-Anmeldung Nummer 62/481,714 , eingereicht am 5. April 2017, deren Inhalte hierdurch Bezugnahme eingeschlossen sind.
  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf ein Verarbeiten von Rundum-Bild-/Video-Inhalten, und genauer auf ein Verfahren und eine Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, welche unter Verwendung einer ungleichförmigen Abbildung generiert wird.
  • Hintergrund
  • Virtual-Reality (VR) mit am Kopf befestigten Anzeigen (HMDs) wird mit einer Vielfalt von Anwendungen in Verbindung gebracht. Die Möglichkeit, einem Benutzer ein weites Feld eines Ansichtsinhalts zu zeigen, kann verwendet werden, um eindringliche visuelle Erfahrungen bereitzustellen. Eine Umgebung einer realen Welt muss in allen Richtungen aufgenommen werden, was zu einem Rundum-Bild-/Video-Inhalt führt, der zu einer Kugel korrespondiert. Mit Fortschritten in Kameraaufbauten und HMDs kann die Bereitstellung eines VR-Inhalts aufgrund der hohen Bitrate, die zum Repräsentieren eines solchen 360-Grad-Bild-/Video-Inhalts benötigt wird, bald der Engpass werden. Wenn die Auflösung des Rundum-Videos 4K oder höher ist, ist eine Daten-Komprimierung/-Codierung kritisch für eine Bitratenreduktion.
  • Allgemein wird der Rundum-Bild-/Video-Inhalt, der zu der Kugel korrespondiert, in eine Sequenz von Bildern transformiert, von denen jedes ein projektionsbasierter Rahmen mit einem 360-Grad-Bild-/Video-Inhalt ist, der durch eine oder mehrere Projektionsflächen repräsentiert wird, die in einer 360-Grad-Virtual-Reality- (360-VR-) Projektionsanordnung angeordnet sind, und dann wird die Sequenz von projektionsbasierten Rahmen für eine Übertragung in einen Bitstrom codiert. Wenn der Rundum-Bild-/Video-Inhalt nicht geeignet auf eine Projektionsfläche (Projektionsflächen) projiziert wird, die in der 360-VR-Projektionsanordnung komprimiert sind, können die Bildqualität nach einer Komprimierung und/oder die Codierungs-Effizienz schlecht sein.
  • Zusammenfassung
  • Eine der Aufgaben der beanspruchten Erfindung ist, ein Verfahren und eine Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, welche unter Verwendung einer ungleichförmigen Abbildung generiert wird, zur Verfügung zu stellen.
  • Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Erhalten mindestens einer Projektionsfläche von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird, und die mindestens eine Projektionsfläche eine erste Projektionsfläche aufweist; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch erneutes Abtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche sich von der ersten Abtastdichte unterscheidet, hergeleitet wird; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der 360-VR-Projektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche aufweist, die in der Projektionsanordnung komprimiert ist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein beispielhaftes Video-Verarbeitungsverfahren offenbart. Das beispielhafte Video-Verarbeitungsverfahren umfasst: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen projektionsbasierten Rahmen zu generieren, wobei der projektionsbasierte Rahmen einen 360-Grad-Inhalt aufweist, der durch mindestens eine Projektionsfläche repräsentiert wird, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion komprimiert ist, und die mindestens eine Projektionsfläche eine erste Projektionsfläche mit mindestens einem Teil aufweist, der durch eine codierer-seitige ungleichförmige Abbildung erzeugt wird; und Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten des mindestens einen Teils der ersten Projektionsfläche durch eine Inverse der codierer-seitigen ungleichförmigen Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche sich von der ersten Abtastdichte unterscheidet, hergeleitet wird.
  • Zusätzlich werden Video-Verarbeitungsvorrichtungen, die zu den vorstehenden Video-Verarbeitungsverfahren gehören, zur Verfügung gestellt.
  • Diese und andere Aufgaben der vorliegenden Erfindung werden ohne Zweifel für diejenigen mit gewöhnlichen Kenntnissen auf dem Gebiet nach dem Lesen der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform offenbar, welche in den verschiedenen Figuren und Zeichnungen dargestellt ist.
  • Figurenliste
    • 1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine gleichförmige Abbildung darstellt.
    • 3 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 4 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 5 ist ein Diagramm, das eine Kurve einer ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 6 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine inverse ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 7 ist ein Diagramm, das eine Kurve einer inversen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 8 ist ein Diagramm, das ein erstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 9 ist ein Diagramm, das ein zweites alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 10 ist ein Diagramm, das ein drittes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 11 ist ein Diagramm, das ein viertes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 12 ist ein Diagramm, das ein fünftes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 13 ist ein Diagramm, das ein sechstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 14 ist ein Diagramm, das ein siebtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 15 ist ein Diagramm, das ein achtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 16 ist ein Diagramm, das eine Kurve einer ersten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 17 ist ein Diagramm, das eine Kurve einer zweiten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 18 ist ein Diagramm, das eine Kurve einer dritten alternativen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 19 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine dreieckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 20 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine rechteckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 21 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine vierseitige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 22 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine kreisförmige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 23 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Äquirektangular-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 24 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Würfelabbildungsprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 25 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Segmentierte-Kugel-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 26 ist ein Diagramm, das eine ungleichförmige Abbildung für eine viewport-basierte Würfelprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 27 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 28 ist ein Diagramm, das eine andere ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 29 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
  • Detaillierte Beschreibung
  • Bestimmte Begriffe, welche sich auf bestimmte Komponenten beziehen, werden in der gesamten nachfolgenden Beschreibung und den Ansprüchen verwendet. Wie jemand mit Kenntnissen auf dem Gebiet anerkennen wird, können Hersteller elektronischer Ausrüstung durch unterschiedliche Namen auf eine Komponente verweisen. Dieses Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die sich in einem Namen aber nicht in einer Funktion unterscheiden. In der nachfolgenden Beschreibung und in den Ansprüchen werden die Begriffe „einschließen“ und „aufweisen“ in einer offenen Weise verwendet, und sollten deshalb so interpretiert werden, dass sie „einschließen, aber nicht beschränkt sein auf ... “ bedeuten. Außerdem ist beabsichtigt, dass der Begriff „verbinden“ entweder eine indirekte oder eine direkte elektrische Verbindung bedeutet. Entsprechend kann, wenn eine Vorrichtung mit einer anderen Vorrichtung verbunden ist, diese Verbindung durch eine direkte elektrische Verbindung oder durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen bestehen.
  • 1 ist ein Diagramm, das ein 360-Grad-Virtual-Reality- (360-VR-) System gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das 360-VR-System 100 weist zwei Video-Verarbeitungsvorrichtungen (z.B. eine Quellelektronikvorrichtung 102 und eine Zielelektronikvorrichtung 104) auf. Die Quellelektronikvorrichtung 102 weist eine Video-Aufnahmevorrichtung 112, eine Konvertierungsschaltung 114 und einen Video-Codierer 116 auf. Die Konvertierungsschaltung 114 kann unter Verwendung einer Mehrzahl von Schaltungsblöcken, wie einer Projektionsschaltung (gekennzeichnet durch „CKT_PJ“) 132, einer Wiederabtastschaltung (gekennzeichnet durch „CKT_RS“) 134, einer Komprimierungsschaltung (gekennzeichnet durch „CKT_PK“) 136 und anderen Schaltung(en) (nicht gezeigt) implementiert sein. Zum Beispiel kann die Video-Aufnahmevorrichtung 112 ein Satz von Kameras sein, die verwendet werden, um einen Rundum-Bild-/Video-Inhalt (z.B. mehrere Bilder, welche die gesamte Umgebung abdecken) S_IN bereitzustellen, der zu einer Kugel korrespondiert. Die Konvertierungsschaltung 114 ist zwischen der Video-Aufnahmevorrichtung 112 und dem Video-Codierer 116 angeschlossen. Die Konvertierungsschaltung 114 generiert einen projektionsbasierten Rahmen IMG gemäß einer Projektionsanordnung L_VR des 360-VR-Projektionsformats und dem Rundum-Bild-/Video-Inhalt S_IN. Der projektionsbasierte Rahmen IMG kann ein Rahmen sein, der in einer Sequenz von projektionsbasierten Rahmen enthalten ist, die von der Konvertierungsschaltung 114 generiert werden. Der Video-Codierer 116 ist eine Codierungs-Schaltung, die verwendet wird, um die projektionsbasierten Rahmen IMG zu codieren/komprimieren, um einen Teil eines Bitstroms BS zu generieren. Weiter gibt der Video-Codierer 116 den Bitstrom BS über eine Übertragungseinrichtung 103 an die Zielelektronikvorrichtung 104 aus. Zum Beispiel kann die Sequenz von projektionsbasierten Rahmen in den Bitstrom BS codiert werden, und die Übertragungseinrichtung 103 kann eine verdrahtete/drahtlose Kommunikationsverbindung oder ein Speichermedium sein.
  • Die Zielelektronikvorrichtung 104 kann eine Vorrichtung einer am Kopf befestigten Anzeige (HMD) sein. Wie in 1 gezeigt, weist die Zielelektronikvorrichtung 104 einen Video-Decodierer 122, eine graphische Wiedergabeschaltung 124 und einen Anzeigebildschirm 126 auf. Die graphische Wiedergabeschaltung 124 kann unter Verwendung einer Mehrzahl von Schaltungsblöcken, wie einer Dekomprimierungsschaltung (gekennzeichnet durch „CKT_UPK“) 142, einer Wiederabtastschaltung (gekennzeichnet durch „CKT_RS“) 144 und einer anderen Schaltung(en) (nicht gezeigt) implementiert sein. Der Video-Decodierer 122 empfängt den Bitstrom BS von der Übertragungseinrichtung 103 (z.B. einer verdrahteten/drahtlosen Kommunikationsverbindung oder einem Speichermedium) und decodiert einen Teil des empfangenen Bitstroms BS, um einen decodierten projektionsbasierten Rahmen IMG' zu generieren. Zum Beispiel generiert der Video-Decodierer 122 eine Sequenz von decodierten Rahmen durch Decodieren des empfangenen Bitstroms BS, wobei der decodierte projektionsbasierte Rahmen IMG' ein Rahmen ist, der in der Sequenz von decodierten Rahmen enthalten ist. In dieser Ausführungsform weist der projektionsbasierte Rahmen IMG, der durch den Video-Codierer 116 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) zu codieren ist, eine Projektionsanordnung eines 360-VR-Projektionsformats auf. Daher weist, nachdem der Bitstrom BS durch die Decodier-Schaltung 122 auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) decodiert worden ist, der decodierte projektionsbasierte Rahmen IMG' das gleiche 360-VR-Projektionsformat und die gleiche Projektionsanordnung auf. Die graphische Wiedergabeschaltung 124 ist zwischen dem Video-Decodierer 124 und dem Anzeigebildschirm 126 angeschlossen. Die graphische Wiedergabeschaltung 124 gibt Ausgabebilddaten wieder und zeigt sie gemäß dem decodierten projektionsbasierten Rahmen IMG' auf dem Anzeigebildschirm 126 an. Zum Beispiel kann ein Viewport-Bereich, der zu einem Teil des 360-Grad-Bild-/Video-Inhalts gehört, der durch den decodierten projektionsbasierten Rahmen IMG' übertragen wird, über die graphische Wiedergabeschaltung 124 auf dem Anzeigebildschirm 126 angezeigt werden.
  • In dieser Ausführungsform unterstützt die Konvertierungsschaltung 114 eine vorgeschlagene codierer-seitige Projektionsflächen-Wiederabtastfunktion, und die graphische Wiedergabeschaltung 124 unterstützt eine vorgeschlagene decodierer-seitige Projektionsflächen-Wiederabtastfunktion, wobei die decodierer-seitige Projektionsflächen-Wiederabtastfunktion eine Inverse der codierer-seitigen Projektionsflächen-Wiederabtastfunktion ist. Zum Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein Down-Sampling auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein Up-Sampling auf eine Projektionsfläche nach einem Decodieren ausführen. Als ein anderes Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein Up-Sampling auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein Down-Sampling auf eine Projektionsfläche nach einem Decodieren ausführen. Als noch ein anderes Beispiel kann die codierer-seitige Projektionsflächen-Wiederabtastfunktion ein erneutes Abtasten ohne eine Größenänderung auf eine Projektionsfläche vor einem Codieren ausführen, und die decodierer-seitige Projektionsflächen-Wiederabtastfunktion kann ein inverses erneutes Abtasten ohne eine Größenänderung auf eine Projektionsfläche nach einem Decodieren ausführen.
  • Insbesondere ist hinsichtlich der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) die Projektionsschaltung 132 eingerichtet, eine Projektionsfläche(n) von einem Rundum-Bild-/Video-Inhalt einer Kugel zu erhalten, wobei der Rundum-Bild-/Video-Inhalt der Kugel über eine 360-VR-Projektion auf die Projektionsfläche(n) abgebildet wird. Die Wiederabtastschaltung 134 ist eingerichtet, eine erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer Projektionsfläche der Projektionsfläche(n) durch eine ungleichförmige Abbildung zu erhalten. Die Komprimierungsschaltung 136 ist eingerichtet, den projektionsbasierten Rahmen IMG gemäß der Projektionsanordnung L_VR der 360-VR-Projektion zu generieren, wobei der projektionsbasierte Rahmen IMG die erneut abgetastete Projektionsfläche komprimiert in der Projektionsanordnung L_VR aufweist. Zusätzlich zu einer Wiederabtastfunktion mit einer ungleichförmigen Abbildung kann die Wiederabtastschaltung 134 auch eine Wiederabtastfunktion mit einer gleichförmigen Abbildung unterstützen. Weitere Details einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung werden wie folgt beschrieben.
  • Es sei auf 2 im Zusammenhang mit 3 verwiesen. 2 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine gleichförmige Abbildung darstellt. 3 ist ein Diagramm, das eine Kurve einer gleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche 204 von einem Down-Sampling einer quadratischen Projektionsfläche (welche auch eine rechteckige Projektionsfläche ist) 202 in ihrer Höhenrichtung hergeleitet, wobei die quadratische Projektionsfläche 202 eine Breite w und eine Höhe H (H=w) aufweist, und die rechteckige Projektionsfläche 204 eine Breite w und eine Höhe h (h<H) aufweist. Das heißt, ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w wird durch eine gleichförmige Abbildung für ein Quadrat ausgeführt. Als Beispiel aber nicht als Einschränkung kann die gleichförmige Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden. y ' = h H Y
    Figure DE112018000660T5_0001
  • Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in der Höhenrichtung sind zwei vertikal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 202 gleichmäßig mit einem konstanten Abstand D verteilt.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Fläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In einem anderen Fall, in welchem die rechteckige Projektionsfläche 204 von einem Down-Sampling der quadratischen Projektionsfläche 202 in ihrer Breitenrichtung hergeleitet wird. Die gleichförmige Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden. x ' = h H X
    Figure DE112018000660T5_0002
  • In der Formel (2) kann H die Breite der quadratischen Projektionsfläche 202 repräsentieren, und h kann die Breite der rechteckigen Projektionsfläche 204 repräsentieren. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (2) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in der Breitenrichtung sind zwei horizontal benachbarte Abtastpunkte in der rechteckigen Projektionsfläche 202 mit einem konstanten Abstand gleichmäßig verteilt.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In noch einem anderen Fall wird die rechteckige Projektionsfläche 204 von einem Down-Sampling der quadratischen Projektionsfläche 202 in ihrer Höhenrichtung und Breitenrichtung hergeleitet. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 204 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 202 befindet, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (2) ausgedrückt ist. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 204 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 202 hergeleitet. Aufgrund der gleichförmigen Abbildung in beiden der Höhenrichtung und der Breitenrichtung sind die Abtastpunkte in der rechteckigen Projektionsfläche 204 gleichmäßig verteilt.
  • Ein Abtastpunkt (d.h. die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 202 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 202 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 202 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • Um mehr Details für einen bestimmten Bereich (z.B. einen Bereich nah einer Hauptansicht oder einen Bereich nah einem Äquator) zu bewahren, schlägt die vorliegende Erfindung weiter ein erneutes Abtasten einer Projektionsfläche durch eine ungleichförmige Abbildung vor. Es sei auf 4 in Verbindung mit 5 verwiesen. 4 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 5 ist ein Diagramm, das eine Kurve einer ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine rechteckige Projektionsfläche 404 von einem Down-Sampling einer quadratischen Projektionsfläche (welche ebenfalls eine rechteckige Projektionsfläche ist) 402 in ihrer Höhenrichtung hergeleitet, wobei die quadratische Projektionsfläche 402 eine Breite w und eine Höhe H (H=w) aufweist, und die rechteckige Projektionsfläche 404 eine Breite w und eine Höhe h (h<H) aufweist. Als Beispiel aber nicht als Einschränkung kann die ungleichförmige Abbildungsfunktion unter Verwendung der nachfolgenden Formel ausgedrückt werden. y ' h = 1 ( 1 Y H ) n
    Figure DE112018000660T5_0003
  • Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Wie in 4 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3 und D4 sein, wobei D4 > D3 > D2 > D1. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 406 der rechteckigen Projektionsfläche 404 durch erneutes Abtasten eines ersten Quellbereichs 410 der quadratischen Projektionsfläche 402 erhalten, und Pixel in einem zweiten erneut abgetasteten Bereich 408 der rechteckigen Projektionsfläche 404 werden durch erneutes Abtasten des zweiten Quellbereichs 412 der quadratischen Projektionsfläche 402 erhalten. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellbereich 410 erhalten werden, von der Dichte von Abtastpunkten, die von dem zweiten Quellbereich 412 erhalten werden, verschieden. Mit anderen Worten werden verschiedene Abtastraten in der Höhenrichtung der quadratischen Projektionsfläche 402 verwendet. Der erste erneut abgetastete Bereich 406 wird von einem erneuten Abtasten des ersten Quellbereichs 410 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und der zweite erneut abgetastete Bereich 408 wird von einem erneuten Abtasten des zweiten Quellbereichs 412 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
  • Um mehr Details für einen bestimmten Bereich (z.B. einen Bereich nah einer Hauptansicht oder einen Bereich nah einem Äquator) zu bewahren, werden die erste Abtastdichte und die zweite Abtastdichte durch die ungleichförmige Abbildung geeignet gesteuert. Angenommen, dass der erste Quellbereich 410 näher an einem Zentrum des Viewport des Benutzers oder näher an einem Äquator liegt, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte). Auf diese Weise werden die meisten der Pixel in der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten des ersten Quellbereichs 410 in der quadratischen Projektionsfläche 402 hergeleitet.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate Y eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 eingesetzt werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In einem anderen Fall wird die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Breitenrichtung hergeleitet. Die ungleichförmige Abbildungsfunktion kann unter Verwendung der nachfolgenden Formel ausgedrückt werden. x' h = 1 ( 1 X H ) n
    Figure DE112018000660T5_0004
  • In der Formel (4) kann H die Breite der quadratischen Projektionsfläche 402 repräsentieren, und h kann die Breite der rechteckigen Projektionsfläche 404 repräsentieren. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte ungleichmäßig in der Breitenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Breitenrichtung wird ein erster erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten eines ersten Quellbereichs der quadratischen Projektionsfläche 402 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 wird von einem erneuten Abtasten eines zweiten Quellbereichs der quadratischen Projektionsfläche 402 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist. Wenn zum Beispiel der erste Quellbereich der quadratischen Projektionsfläche 402 näher an einem Zentrum des Viewports des Benutzers (oder näher an einem Äquator) liegt als der zweite Quellbereich der quadratischen Projektionsfläche 402, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte).
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate X eines Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In noch einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Höhenrichtung und Breitenrichtung hergeleitet wird. Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402 befindet, von der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der quadratischen Projektionsfläche 402 verteilt und sind auch ungleichmäßig in der Breitenrichtung der quadratischen Projektionsfläche 402 verteilt. Der Pixelwert einer Position P in der rechteckigen Projektionsfläche 404 wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition p' in der quadratischen Projektionsfläche 402 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung und der Breitenrichtung wird ein erster erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 von einem erneuten Abtasten eines ersten Quellbereichs der quadratischen Projektionsfläche 402 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der rechteckigen Projektionsfläche 404 wird von einem erneuten Abtasten eines zweiten Quellbereichs der quadratischen Projektionsfläche 402 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der zweiten Abtastdichte) verschieden ist. Wenn zum Beispiel der erste Quellbereich der quadratischen Projektionsfläche 402 näher an einem Zentrum des Viewports des Benutzers (oder näher an einem Äquator) liegt als der zweite Quellbereich der quadratischen Projektionsfläche 402, wird die erste Abtastrate (oder die erste Abtastdichte) insbesondere so festgelegt, dass sie höher ist als die zweite Abtastrate (oder die zweite Abtastdichte).
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition p') in der quadratischen Projektionsfläche 402 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate X und einer y-Achsen-Koordinate Y eines korrespondierenden Abtastpunkts in der quadratischen Projektionsfläche 402 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der Konvertierungsschaltung 114 (insbesondere der Wiederabtastschaltung 134) auf ganzzahlige Pixel um den Abtastpunkt in der quadratischen Projektionsfläche 402 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • Hinsichtlich der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) ist der Video-Decodierer 122 eingerichtet, den Bitstrom BS zu empfangen und einen Teil des Bitstroms BS zu decodieren, um einen decodierten projektionsbasierten Rahmen IMG' zu generieren, wobei der decodierte projektionsbasierte Rahmen IMG' einen 360-Grad-Inhalt aufweist, der durch eine Projektionsfläche (Projektionsflächen) repräsentiert wird, die in der gleichen Projektionsanordnung L_VR der 360-VR-Projektion komprimiert sind, und die Projektionsfläche(n) enthalten eine Projektionsfläche mit mindestens einem Teil (d.h., ein Teil oder alles), der durch die codierer-seitige ungleichförmige Abbildung erzeugt wird. Die Dekomprimierungsschaltung 142 ist eingerichtet, die Projektionsfläche von dem decodierten projektionsbasierten Rahmen IMG' gemäß der Projektionsanordnung L_VR zu erhalten. Zum Beispiel kann die Projektionsanordnung L_VR, die durch die Quellelektronikvorrichtung 102 eingesetzt wird, über den Bitstrom BS an die Zielelektronikvorrichtung 104 signalisiert werden. Die Wiederabtastschaltung 144 ist eingerichtet, eine erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h. ein Teil oder alles) der Projektionsfläche durch eine Inverse der ungleichförmigen Abbildung zu erhalten. Mit anderen Worten kann eine Projektionsfläche, welche auf der Codierer-Seite erneut abgetastet wird, auf der Decodierer-Seite durch eine korrespondierende inverse Abbildungsfunktion wieder hergestellt werden.
  • Zusätzlich zu einer Wiederabtastfunktion mit einer inversen ungleichförmigen Abbildung kann die Wiederabtastschaltung 144 auch eine Wiederabtastfunktion mit einer inversen gleichförmigen Abbildung unterstützen. Die gleichförmige Abbildungsfunktion in 2 kann auch als eine inverse gleichförmige Abbildungsfunktion verwendet werden. Daher kann hinsichtlich einer Pixelposition in einer invers erneut abgetasteten Fläche ein korrespondierender Abtastpunkt, der sich in einer Projektionsfläche befindet, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, von der gleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (1) ausgedrückt ist. Ein Abtastpunkt in der Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, mag keine ganzzahlige Position sein. Ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) kann auf ganzzahlige Pixel um den Abtastpunkt in der Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • Es sei auf 6 in Verbindung mit 7 verwiesen. 6 ist ein Diagramm, das ein Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine inverse ungleichförmige Abbildung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. 7 ist ein Diagramm, das eine Kurve einer inversen ungleichförmigen Abbildungsfunktion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie vorstehend erwähnt, kann die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Höhenrichtung hergleitet werden und in dem projektionsbasierten Rahmen IMG für ein Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert werden. In diesem Beispiel wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Höhenrichtung höher abgetastet), um eine quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wiederherzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen. Wie in 6 gezeigt, weist die quadratische Projektionsfläche 402' eine Breite w und eine Höhe H (H=w) auf, und die rechteckige Projektionsfläche 404 weist eine Breite w und eine Höhe h (h<H) auf. Als Beispiel aber nicht als Einschränkung kann die inverse ungleichförmige Abbildungsfunktion, wie in 7 gezeigt, eine Inverse der ungleichförmigen Abbildungsfunktion sein, die in der Formel (3) ausgedrückt ist.
  • Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate Y einer y-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, von der inversen ungleichförmigen Abbildungsfunktion bestimmt werden. Wie in 6 gezeigt, ist der Abstand zwischen zwei vertikal benachbarten Abtastpunkten keine Konstante. Zum Beispiel kann der Abstand zwischen zwei vertikal benachbarten Abtastpunkten einer von D1, D2, D3, D4, D5 und D6 sein, wobei D6 > D5 > D4 > D3 > D2 > D1. Insbesondere sind die Abtastpunkte ungleichmäßig in der Höhenrichtung der rechteckigen Projektionsfläche 404 verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Zum Beispiel werden Pixel in einem ersten erneut abgetasteten Bereich 606 der quadratischen Projektionsfläche 402' durch erneutes Abtasten eines ersten Quellbereichs 610 der rechteckigen Projektionsfläche 404 erhalten, und Pixel in einem zweiten erneut abgetasteten Bereich 608 der quadratischen Projektionsfläche 402' werden durch erneutes Abtasten des zweiten Quellbereichs 612 der rechteckigen Projektionsfläche 404 erhalten. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung ist die Dichte von Abtastpunkten, die von dem ersten Quellbereich 610 erhalten werden, von der Dichte von Abtastpunkten, die von dem zweiten Quellbereich 612 erhalten werden, verschieden. Mit anderen Worten werden in der Höhenrichtung der rechteckigen Projektionsfläche 404 verschiedene Abtastraten verwendet. Der erste erneut abgetastete Bereich 606 wird von einem erneuten Abtasten des ersten Quellbereichs 610 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) erhalten, und der zweite erneut abgetastete Bereich 608 wird von einem erneuten Abtasten des zweiten Quellbereichs 612 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) erhalten, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn eine y-Achsen-Koordinate y' eines Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Breitenrichtung hergeleitet und in dem projektionsbasierten Rahmen IMG zum Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert wird, wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Breitenrichtung höher abgetastet), um die quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wieder herzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen. Die inverse ungleichförmige Abbildungsfunktion kann durch eine Inverse der ungleichförmigen Abbildungsfunktion festgelegt werden, die in der Formel (4) ausgedrückt ist.
  • Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte in der Breitenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Breitenrichtung wird ein erster erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' von einem erneuten Abtasten eines ersten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' wird von einem erneuten Abtasten eines zweiten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die erste Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn eine x-Achsen-Koordinate x' eines Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In noch einem anderen Fall, in welchem die rechteckige Projektionsfläche 404 von einem Down-Sampling der quadratischen Projektionsfläche 402 in ihrer Breitenrichtung und Höhenrichtung hergeleitet wird und in dem projektionsbasierten Rahmen IMG zum Codieren auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) komprimiert wird, wird die rechteckige Projektionsfläche 404, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, erneut abgetastet (z.B. in ihrer Breitenrichtung und Höhenrichtung höher abgetastet), um die quadratische Projektionsfläche 402' auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) wieder herzustellen, wobei die quadratischen Projektionsflächen 402 und 402' die gleiche Form und die gleiche Größe aufweisen.
  • Daher kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate Y einer y-Achse der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate y' einer y-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (3) ausgedrückt ist. Zusätzlich kann hinsichtlich einer Pixelposition, die sich bei einer Koordinate X einer x-Achse in der quadratischen Projektionsfläche 402' befindet, ein korrespondierender Abtastpunkt, der sich bei einer Koordinate x' einer x-Achse in der rechteckigen Projektionsfläche 404 befindet, von einer Inversen der ungleichförmigen Abbildungsfunktion bestimmt werden, die in der Formel (4) ausgedrückt ist. Insbesondere sind die Abtastpunkte in der Höhenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt und sind auch in der Breitenrichtung der rechteckigen Projektionsfläche 404 ungleichmäßig verteilt. Der Pixelwert einer Position Q in der quadratischen Projektionsfläche 402' wird von einem Verwenden des Pixelwerts der korrespondierenden Abtastposition q' in der rechteckigen Projektionsfläche 404 hergeleitet. Aufgrund der ungleichförmigen Abbildung in der Höhenrichtung und der Breitenrichtung wird ein erster erneut abgetasteter Bereich der quadratischen Projektionsfläche 402' von einem erneuten Abtasten eines ersten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer ersten Abtastrate (oder einer ersten Abtastdichte) hergeleitet, und ein zweiter erneut abgetasteter Bereich in der quadratischen Projektionsfläche 402' wird von einem erneuten Abtasten eines zweiten Quellbereichs der rechteckigen Projektionsfläche 404 mit einer zweiten Abtastrate (oder einer zweiten Abtastdichte) hergeleitet, wobei die zweite Abtastrate (oder die zweite Abtastdichte) von der ersten Abtastrate (oder der ersten Abtastdichte) verschieden ist.
  • Ein Abtastpunkt (d.h., die erhaltene Pixelposition q') in der rechteckigen Projektionsfläche 404 mag keine ganzzahlige Position sein. Wenn mindestens eine einer x-Achsen-Koordinate x' und einer y-Achsen-Koordinate y' eines korrespondierenden Abtastpunkts in der rechteckigen Projektionsfläche 404 eine nicht-ganzzahlige Position ist, kann ein Interpolationsfilter (nicht gezeigt) in der graphischen Wiedergabeschaltung 124 (insbesondere der Wiederabtastschaltung 144) auf ganzzahlige Pixel um den Abtastpunkt in der rechteckigen Projektionsfläche 404 angewendet werden, um den Pixelwert des Abtastpunkts herzuleiten.
  • In den vorstehenden Wiederabtast-Beispielen, die in 4 und 6 gezeigt sind, wird eine erneut abgetastete Projektionsfläche durch ein erneutes Abtasten einer Projektionsfläche durch eine codierer-seitige ungleichförmige Abbildung (oder eine decodierer-seitige inverse ungleichförmige Abbildung) erhalten, wobei die erneut abgetastete Projektionsfläche und die Projektionsfläche den gleichen Formtyp (z.B. die Form eines Rechtecks) aber unterschiedliche Größen aufweisen. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein.
  • 8 ist ein Diagramm, das ein erstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel weisen die erneut abgetastete Projektionsfläche und die Quellprojektionsfläche den gleichen Formtyp (z.B. die Form eines Dreiecks) aber unterschiedliche Größen auf. Insbesondere wird ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) für ein Dreieck ausgeführt.
  • 9 ist ein Diagramm, das ein zweites alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel weisen die erneut abgetastete Projektionsfläche und die Quellprojektionsfläche unterschiedliche Formtypen (z.B. die Form eines Rechtecks und die Form eines Trapezes) auf. Insbesondere wird ein erneutes Abtasten eines Rechtecks zu einem Trapez durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt.
  • In den vorstehenden Wiederabtastbeispielen, die in 4 und 6 gezeigt sind, wird die erneut abgetastete Projektionsfläche durch Anwenden einer codierer-seitigen ungleichförmigen Abbildung (oder einer decodierer-seitigen inversen ungleichförmigen Abbildung) auf die gesamte Quellprojektionsfläche erhalten. Dies dient jedoch nur darstellenden Zwecken und ist nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. 10 ist ein Diagramm, das ein drittes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung auf nur einen Teil einer Projektionsfläche ausgeführt. Die erneut abgetastete quadratische Projektionsfläche 1004 mit einer Höhe h und einer Breite w wird von der rechteckigen Projektionsfläche 1002 mit einer Höhe H und einer Breite w erhalten. Die erneut abgetastete quadratische Projektionsfläche 1004 weist einen oberen Teil 1008 und einen unteren Teil 1006 auf. Die rechteckige Projektionsfläche weist einen oberen Teil 1012 und einen unteren Teil 1010 auf. Ein Down-Sampling von der Höhe H zu der Höhe h mit der gleichen Breite w wird durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei die ungleichförmige Abbildung (oder die inverse ungleichförmige Abbildung) nur auf den oberen Teil 1012 ausgeführt wird. In diesem Beispiel bleibt der untere Teil 1010 der gleiche, sodass der untere Teil 1006 der erneut abgetasteten quadratischen Projektionsfläche 1004 direkt durch den unteren Teil 1010 der rechteckigen Projektionsfläche 1002 festgelegt ist. Daher ist ein Bildinhalt des unteren Teils 1006 der erneut abgetasteten quadratischen Projektionsfläche 1004 der gleiche wie der Bildinhalt des unteren Teils 1010 der rechteckigen Projektionsfläche 1002.
  • Wie in 10 gezeigt, kann ein Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. Alternativ kann ein Up-Sampling durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. 11 ist ein Diagramm, das ein viertes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel kann ein Up-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt werden.
  • Wie in 10 und 11 gezeigt, weisen die Quellprojektionsfläche (d.h., eine Projektionsfläche, die vor einem erneuten Abtasten verfügbar ist) und die erneut abgetastete Projektionsfläche (d.h., eine Projektionsfläche, die nach einem erneuten Abtasten verfügbar ist) unterschiedliche Größen auf. Alternativ kann ein erneutes Abtasten ohne eine Größenänderung durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) erzielt werden. 12 ist ein Diagramm, das ein fünftes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein erneutes Abtasten mit der gleichen Breite w und Höhe h durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt. Daher weisen die Quellprojektionsfläche und die erneut abgetastete Projektionsfläche den gleichen Formtyp und die gleiche Größe auf, aber weisen unterschiedliche Bildinhalte auf.
  • Die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) können entlang nur einer einzelnen Abbildungsrichtung ausgeführt werden oder können entlang verschiedener Abbildungsrichtungen ausgeführt werden. Zum Beispiel kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) entlang der x-Achsen-Richtung, der y-Achsen-Richtung oder beiden ausgeführt werden. In einigen Ausführungsformen der vorliegenden Erfindung brauchen unterschiedliche Abbildungsrichtungen der ungleichförmigen Abbildung (oder der inversen ungleichförmigen Abbildung) nicht notwendigerweise orthogonal zu sein.
  • 13 ist ein Diagramm, das ein sechstes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein Y-Achsen-Down-Sampling von einer Höhe H zu einer Höhe h mit der gleichen Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an der Mitte der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
  • 14 ist ein Diagramm, das ein siebtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein zweidimensionales Down-Sampling von einer Höhe H und einer Breite W zu einer Höhe h und einer Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an der unteren rechten Ecke der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
  • 15 ist ein Diagramm, das ein achtes alternatives Beispiel eines erneuten Abtastens einer Projektionsfläche durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. In diesem Beispiel wird ein zweidimensionales Down-Sampling von einer Höhe H und einer Breite W zu einer Höhe h und einer Breite w durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) ausgeführt, wobei Abtastpunkte näher an dem Zentrum der Quellprojektionsfläche eine höhere Abtastrate (d.h., eine hohe Abtastdichte) aufweisen.
  • Es sollte beachtet werden, dass die vorstehend genannten ungleichförmigen Abbildungsfunktionen darstellenden Zwecken dienen und nicht gedacht sind, Einschränkungen der vorliegenden Erfindung zu sein. In einigen Ausführungsformen der vorliegenden Erfindung kann eine unterschiedliche ungleichförmige Abbildungsfunktion durch die Wiederabtastschaltung 134 der Quellelektronikvorrichtung 102 zum erneuten Abtasten der Form eingesetzt werden. Andere ungleichförmige Abbildungsfunktionen für eine y-Achsen-Wiederabtastung sind in 16-18 dargestellt. Es sollte beachtet werden, dass die ungleichförmigen Abbildungsfunktionen, die in 16-18 dargestellt sind, auch für eine x-Achsen-Wiederabtastung verwendet werden können. Weiter wird, wenn eine ungleichförmige Abbildungsfunktion durch die Wiederabtastschaltung 134 der Quellelektronikvorrichtung 102 zum erneuten Abtasten der Form eingesetzt wird, eine Inverse der ungleichförmigen Abbildungsfunktion durch die Wiederabtastschaltung 144 der Zielelektronikvorrichtung 104 zum inversen erneuten Abtasten der Form eingesetzt.
  • In der Praxis kann die ungleichförmige Abbildungsfunktion unter Verwendung einer nicht-abnehmenden Funktion, die durch (0, 0) und (1, 1) verläuft, implementiert werden. Das heißt, eine Kurve der nicht-abnehmenden ungleichförmigen Abbildungsfunktion beginnt bei (0, 0) und endet bei (1, 1). In einer beispielhaften ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt einer ungleichförmigen Abbildung zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte), und der Endpunkt der ungleichförmigen Abbildung korrespondiert zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte). Das Y-Achsen-Down-Sampling in 13 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung bei der Mitte der Quellprojektionsfläche. Das zweidimensionale Down-Sampling in 14 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung an der unteren rechten Ecke der Quellprojektionsfläche. Das zweidimensionale Down-Sampling in 15 als Beispiel nehmend liegt der Startpunkt der ungleichförmigen Abbildung bei dem Zentrum der Quellprojektionsfläche. Diese dienen jedoch nur darstellenden Zwecken und sind nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. In einer anderen beispielhaften ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der ungleichförmigen Abbildung zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte), und der Endpunkt der ungleichförmigen Abbildung korrespondiert zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte).
  • Wie die ungleichförmige Abbildungsfunktion ist auch die korrespondierende inverse ungleichförmige Abbildungsfunktion eine nicht-abnehmende Funktion, die durch (0, 0) und (1, 1) verläuft. In einer beispielhaften inversen ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der inversen ungleichförmigen Abbildung zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte), und der Endpunkt der inversen ungleichförmigen Abbildung korrespondiert zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte). In einer anderen beispielhaften inversen ungleichförmigen Abbildungsfunktionsauslegung korrespondiert der Startpunkt der inversen ungleichförmigen Abbildung zu der geringsten Abtastrate (d.h., der geringsten Abtastdichte), und der Endpunkt der inversen ungleichförmigen Abbildung korrespondiert zu der höchsten Abtastrate (d.h., der höchsten Abtastdichte).
  • Die ungleichförmige Abbildungsfunktion kann verschiedene Typen aufweisen. Als Beispiel aber nicht als Einschränkung kann die ungleichförmige Abbildungsfunktion eine flächentreue Abbildungsfunktion, eine winkeltreue Abbildungsfunktion, eine stückweise lineare Funktion, eine Exponentialfunktion, eine Polynomfunktion oder eine Potenzfunktion sein.
  • Wie vorstehend erwähnt, kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) entlang nur einer einzelnen Abbildungsrichtung ausgeführt werden oder kann entlang unterschiedlicher Abbildungsrichtungen ausgeführt werden. In der Praxis kann die codierer-seitige ungleichförmige Abbildung (oder die decodierer-seitige inverse ungleichförmige Abbildung) in jeder (alle) Richtung(en) angewendet werden, abhängig von den tatsächlichen Auslegungsüberlegungen.
  • 19 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine dreieckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer dreieckigen Projektionsfläche in Richtung verschiedener Endpunkte in der dreieckigen Projektionsfläche sind. Das Unter-Diagramm (B) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, welche entgegengesetzt zu den radialen Richtungen sind. Das Unter-Diagramm (C) zeigt zwei Arten von Abbildungsrichtungen, die in einer dreieckigen Projektionsfläche angewendet werden. Das Unter-Diagramm (D) zeigt eine Abbildungsrichtung von einem Eckpunkt einer dreieckigen Projektionsfläche in Richtung einer Kante der dreieckigen Projektionsfläche. Das Unter-Diagramm (E) zeigt eine Abbildungsrichtung von einer Kante einer dreieckigen Projektionsfläche in Richtung eines Eckpunkts der dreieckigen Projektionsfläche. Das Unter-Diagramm (F) zeigt eine Abbildungsrichtung von einem Eckpunkt einer dreieckigen Projektionsfläche in Richtung eines anderen Eckpunkts der dreieckigen Projektionsfläche. Das Unter-Diagramm (G) zeigt eine Abbildungsrichtung von einer Kante einer dreieckigen Projektionsfläche in Richtung einer anderen Kante der dreieckigen Projektionsfläche. Das Unter-Diagramm (H) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer dreieckigen Projektionsfläche befinden, in Richtung von Endpunkten in der dreieckigen Projektionsfläche. Das Unter-Diagramm (I) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer dreieckigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der dreieckigen Projektionsfläche befinden.
  • 20 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine rechteckige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt zwei Arten von Abbildungsrichtungen, die in einer rechteckigen Projektionsfläche angewendet werden. Das Unter-Diagramm (B) zeigt eine Abbildungsrichtung von einer Kante einer rechteckigen Projektionsfläche in Richtung einer anderen Kante der rechteckigen Projektionsfläche. Das Unter-Diagramm (C) zeigt eine Abbildungsrichtung von einem Eckpunkt einer rechteckigen Projektionsfläche in Richtung eines anderen Eckpunkts der rechteckigen Projektionsfläche. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer rechteckigen Projektionsfläche befinden, in Richtung von Endpunkten in der rechteckigen Projektionsfläche. Das Unter-Diagramm (E) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer rechteckigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer rechteckigen Projektionsfläche befinden. Das Unter-Diagramm (F) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer rechteckigen Projektionsfläche sind, in Richtung von verschiedenen Endpunkten in der rechteckigen Projektionsfläche. Das Unter-Diagramm (G) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, die entgegengesetzt zu den radialen Richtungen sind.
  • 21 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine vierseitige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Abbildungsrichtung von einer Kante einer vierseitigen Projektionsfläche in Richtung einer anderen Kante der vierseitigen Projektionsfläche. Das Unter-Diagramm (B) zeigt eine Abbildungsrichtung von einem Eckpunkt einer vierseitigen Projektionsfläche in Richtung eines anderen Eckpunkts der vierseitigen Projektionsfläche. Das Unter-Diagramm (C) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer vierseitigen Projektionsfläche befinden, in Richtung von Endpunkten in der vierseitigen Projektionsfläche. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer vierseitigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der vierseitigen Projektionsfläche befinden. Das Unter-Diagramm (E) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen von dem gleichen Startpunkt innerhalb einer vierseitigen Projektionsfläche sind, in Richtung von unterschiedlichen Endpunkten in der vierseitigen Projektionsfläche. Das Unter-Diagramm (F) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen sind, welche entgegengesetzt zu den radialen Richtungen sind. Das Unter-Diagramm (G) zeigt zwei Arten von Abbildungsrichtungen, die in einer vierseitigen Projektionsfläche angewendet werden.
  • 22 ist ein Diagramm, das Beispiele verschiedener Abbildungsrichtungen einer ungleichförmigen Abbildung (oder einer inversen ungleichmäßigen Abbildung) für eine kreisförmige Projektionsfläche gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Unter-Diagramm (A) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in einer kreisförmigen Projektionsfläche befinden, in Richtung von Endpunkten in der kreisförmigen Projektionsfläche. Das Unter-Diagramm (B) zeigt eine Mehrzahl von Abbildungsrichtungen von Startpunkten in einer kreisförmigen Projektionsfläche in Richtung von Endpunkten, die sich auf der gleichen Kurve (welche durch eine gestrichelte Linie repräsentiert ist) in der kreisförmigen Projektionsfläche befinden. Das Unter-Diagramm (C) zeigt eine Mehrzahl von Abbildungsrichtungen, die konzentrierte Richtungen von unterschiedlichen Startpunkten in einer kreisförmigen Projektionsfläche in Richtung des gleichen Endpunkts in der kreisförmigen Projektionsfläche sind. Das Unter-Diagramm (D) zeigt eine Mehrzahl von Abbildungsrichtungen, die radiale Richtungen sind, welche entgegengesetzt zu den konzentrierten Richtungen sind. Das Unter-Diagramm (E) zeigt zwei Arten von Abbildungsrichtungen, die in einer kreisförmigen Projektionsfläche angewendet werden. Die in 22 gezeigten beispielhaften Abbildungsrichtungen können auch durch eine ungleichförmige Abbildung (oder eine inverse ungleichförmige Abbildung) in einer ovalen Projektionsfläche eingesetzt werden.
  • Wie vorstehend erwähnt, generiert die Wiederabtastschaltung 134 erneut abgetastete Projektionsfläche(n), und die Komprimierungsschaltung 136 generiert den projektionsbasierten Rahmen IMG mit der (den) erneut abgetasteten Projektionsfläche(n) komprimiert in der Projektionsanordnung L_VR des 360-VR-Projektionsformats. In der Praxis kann das 360-VR-Projektionsformat jedes Projektionsformat sein. Als Beispiel aber nicht als Einschränkung ist die ungleichförmige Abbildung / inverse ungleichförmige Abbildung auf eine Vielfalt von Projektionsformaten anwendbar, einschließlich einer Äquirektangular-Projektion, einer Würfelabbildungs-Projektion, einer Pyramiden-Projektion, einer Abgeschnittene-Kugel-Pyramiden-Projektion, einer viewport-basierten Würfel-Projektion, einer Oktaeder-Projektion, einer Tetraeder-Projektion, einer Tetraeder-Quarzbasis-Projektion, einer Ikosaeder-Projektion, einer Hexagon-Quarzbasis-Projektion, einer Segmentierte-Kugel-Projektion, usw.
  • 23 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Äquirektangular-Projektion (ERP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Die Projektionsschaltung 132 kann eine einzelne Projektionsfläche über eine Äquirektangular-Projektion eines Rundum-Bild-/Video-Inhalts einer Kugel erhalten. Die Wiederabtastschaltung 134 kann eine ungleichförmige Abbildung auf die ERP-Fläche in einer y-Achsenrichtung (d.h., einer Breitengrad-Richtung der ERP-Fläche) anwenden, wobei die Abtastrate (Abtastdichte) höher ist, wenn die Abtastpunkte in der ERP-Fläche näher an dem Äquator liegen. In einer beispielhaften Auslegung kann die ungleichförmige Abbildungsfunktion durch eine flächentreue Abbildungsfunktion festgelegt sein, die in der nachfolgenden Formel mit dem Breitengrad φ ausgedrückt ist. y = s i n φ
    Figure DE112018000660T5_0005
  • In einer anderen beispielhaften Auslegung kann die ungleichförmige Abbildungsfunktion durch eine Potenzfunktion festgelegt sein, die in der nachfolgenden Formel mit dem Breitengrad φ ausgedrückt ist. y = { 1 ( 1 φ 90 ° ) 2 , φ 0 ( 1 + φ 90 ° ) 1, φ < 0
    Figure DE112018000660T5_0006
  • Diese sind jedoch nicht gedacht, Einschränkungen der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der ERP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • 24 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Würfelabbildungsprojektion (CMP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt einer Kugel 2402 wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche, eine untere Fläche, eine vordere Fläche, eine hintere Fläche, eine linke Fläche und eine rechte Fläche umfassen. Gemäß der allgemeinen Würfelabbildungsprojektion werden gleiche Grade von Winkeln auf eine Fläche mit unterschiedlichen Pixelanzahlen projiziert, was zu einem Über-Abtasten an den Grenzen der Fläche führt. Nachdem die quadratischen Projektionsflächen durch die Projektionsschaltung 132 über die Würfelabbildungsprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden ist, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens einer der quadratischen Flächen anwenden, wobei die Abtastrate (Abtastdichte) höher ist, wenn Abtastpunkte in einer quadratischen Projektionsfläche näher an dem Äquator liegen. Zum Beispiel kann eine erneut abgetastete quadratische Projektionsfläche äquivalent zu einer winkeltreuen Projektionsfläche sein, die durch Projizieren gleicher Grade von Winkeln mit gleichen Pixelanzahlen erhalten wird, wobei jeder Abstand zwischen zwei Abtastpunkten den gleichen Winkel auf der Kugel 2402 aufweist. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • 25 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Segmentierte-Kugel-Projektion (SSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Wie in dem Unter-Diagramm (A) gezeigt, wird eine Oberfläche der Kugel 2402 in einen Nordpolarbereich 2516, der an dem Nordpol zentriert ist, einen Südpolarbereich 2520, der an dem Südpol zentriert ist, und ein nicht-polares ringförmiges Segment (z.B. ein Äquatorialsegment) 2518 zwischen dem Nordpolarbereich 2516 und dem Südpolarbereich 2520 unterteilt. Ein Breitengrad eines Äquators der Kugel 2402 ist 0°. Wie in 25 gezeigt, ist der niedrigste Breitengrad des Nordpolarbereichs 2516 durch θ bezeichnet, und der höchste Breitengrad des Südpolarbereichs 2520 ist durch φ bezeichnet. Es sollte beachtet werden, dass θ gleich oder verschieden von φ sein kann, abhängig von den tatsächlichen Auslegungsüberlegungen. Zum Beispiel kann gelten: θ=φ=45°. Gemäß einer SSP wird der Nordpolarbereich 2516 der Kugel 2402 auf eine erste kreisförmige Projektionsfläche (gekennzeichnet durch „Nordpol“) 2502 projiziert/abgebildet, der Südpolarbereich 2520 wird auf eine zweite kreisförmige Projektionsfläche (gekennzeichnet durch „Südpol“) 2506 projiziert/abgebildet, und das nicht-polare ringförmige Segment 2518 wird auf eine rechteckige Projektionsfläche (gekennzeichnet durch „B“) 2504 projiziert/abgebildet.
  • Nachdem die erste kreisförmige Projektionsfläche 2502, die rechteckige Projektionsfläche 2504 und die zweite kreisförmige Projektionsfläche 2506 durch die Projektionsschaltung 132 über die Segmentierte-Kugel-Projektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens eine der ersten kreisförmigen Projektionsfläche 2502, der rechteckigen Projektionsfläche 2504 und der zweiten kreisförmigen Projektionsfläche 2506 ausführen. In diesem Beispiel wird jede der ersten kreisförmigen Projektionsfläche 2502 und der zweiten kreisförmigen Projektionsfläche 2506 durch eine ungleichförmige Abbildung zu einer anderen Form (z.B. der Form eines Rechtecks) erneut abgetastet. Daher erhält die Wiederabtastschaltung 134 eine erste rechteckige Projektionsfläche (gekennzeichnet durch „A“) 2512 durch ein erneutes Abtasten der ersten kreisförmigen Projektionsfläche 2502, und erhält eine zweite rechteckige Projektionsfläche (gekennzeichnet durch „C“) 2514 durch ein erneutes Abtasten der zweiten kreisförmigen Projektionsfläche 2506. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der SSP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • Wie in dem Unter-Diagramm (B) gezeigt, werden die erneut abgetasteten Projektionsflächen (d.h., die erste rechteckige Projektionsfläche 2512 und die zweite rechteckige Projektionsfläche 2514) und die rechteckige Projektionsfläche 2504 in einer Projektionsanordnung 2510 des SSP-Formats komprimiert. Da jede der Projektionsflächen 2512, 2514 und 2504 die Form eines Rechtecks aufweist, braucht der projektionsbasierte Rahmen IMG mit der Projektionsanordnung 2510 keine Auffüllbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) darin aufgefüllt aufzuweisen.
  • 26 ist ein Diagramm, das eine ungleichförmige Abbildung für eine viewport-basierte Würfelprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche (gekennzeichnet durch „Top“), eine untere Fläche (gekennzeichnet durch „Bottom“), eine vordere Fläche (gekennzeichnet durch „Front“), eine hintere Fläche (gekennzeichnet durch „Back“), eine linke Fläche (gekennzeichnet durch „Left“) und eine rechte Fläche (gekennzeichnet durch „Right“) einschließen. Nachdem die quadratischen Projektionsflächen durch die Projektionsschaltung 132 über die Würfelabbildungsprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsflächen ausführen. Zum Beispiel wird jede der oberen Fläche, der linken Fläche, der unteren Fläche, der rechten Fläche und der hinteren Fläche durch die ungleichförmige Abbildung herunterskaliert. Als ein anderes Beispiel kann auch die vordere Fläche durch eine ungleichförmige Abbildung erneut abgetastet werden.
  • Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in der quadratischen Projektionsfläche näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine rechteckige Projektionsfläche ist) als Beispiel nehmend werden Pixel nahe der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Seite (welche eine quadratische Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „Bottom“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche (welche eine erneut abgetastete Projektionsfläche ist), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der viewport-basierten Würfelprojektionsanordnung 2610, wobei die erneut abgetastete untere Fläche gleichmäßig in vier Teile B0 , B1 , B2 , B3 geteilt ist, die jeweils an vier Ecken der viewport-basierten Würfelprojektionsanordnung 2610 angeordnet sind.
  • 27 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion (TSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Abgeschnittene-Quadratische-Pyramiden-Projektion auf zwei quadratische Projektionsflächen (d.h., eine vordere durch „Front“ gekennzeichnete Fläche und eine hintere durch „Back“ gekennzeichnete Fläche) und vier trapezförmige Projektionsflächen (d.h., eine obere durch „Top“ gekennzeichnete Fläche, eine rechte durch „Right“ gekennzeichnete Fläche, eine untere durch „Bottom“ gekennzeichnete Fläche und eine linke durch „Left“ gekennzeichnete Fläche) abgebildet/projiziert. Nachdem die quadratischen Projektionsflächen und die trapezförmigen Projektionsflächen der abgeschnittenen quadratischen Pyramide durch die Projektionsschaltung 132 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf mindestens eine der quadratischen Projektionsflächen und der trapezförmigen Projektionsflächen anwenden. Zum Beispiel können die quadratischen Projektionsflächen und die trapezförmigen Projektionsflächen jeweils unter Verwendung verschiedener ungleichförmiger Abbildungsrichtungen erneut abgetastet werden.
  • Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der trapezförmigen Projektionsflächen) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine trapezförmige Projektionsfläche ist) als Beispiel nehmend werden Pixel nah an der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine trapezförmige Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Fläche (welche eine trapezförmige Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der TSP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine untere Fläche „Bottom“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche „Back“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann) und eine rechte Fläche „R“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann) in die Abgeschnittene-Quadratische-Pyramiden-Projektionsanordnung 2710.
  • 28 ist ein Diagramm, das eine andere ungleichförmige Abbildung für eine Abgeschnittene-Quadratische-Pyramiden-Projektion (TSP) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Würfelabbildungsprojektion auf sechs quadratische Projektionsflächen abgebildet/projiziert, die eine obere Fläche (gekennzeichnet durch „Top“), eine untere Fläche (gekennzeichnet durch „Bottom“), eine vordere Fläche (gekennzeichnet durch „Front“), eine hintere Fläche (gekennzeichnet durch „Back“), eine linke Fläche (gekennzeichnet durch „Left“) und eine rechte Fläche (gekennzeichnet durch „Right“) einschließen. Nachdem die quadratischen Projektionsflächen eines Würfels durch die Projektionsschaltung 132 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsflächen ausführen. Zum Beispiel wird jede der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche (welche quadratische Projektionsflächen sind) durch eine ungleichförmige Abbildung zu einer anderen Form (z.B. einer Form eines Trapezes) erneut abgetastet, und die hintere Fläche (welche eine quadratische Projektionsfläche ist) wird durch eine ungleichförmige Abbildung ohne eine Formtypveränderung herunterskaliert. In einigen Ausführungsformen der vorliegenden Erfindung können die quadratischen Projektionsflächen jeweils unter Verwendung von verschiedenen ungleichförmigen Abbildungsrichtungen erneut abgetastet werden.
  • Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche eine trapezförmige Projektionsfläche ist) als Beispiel nehmend werden Pixel nah an der Kante S1 durch ein erneutes Abtasten eines ersten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel nah an der Kante S2 werden durch ein erneutes Abtasten eines zweiten Bereichs der ursprünglichen rechten Fläche (welche eine quadratische Projektionsfläche ist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der CMP-Fläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „Top“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „Bottom“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine hintere Fläche „Back“ (welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der Abgeschnittene-Quadratische-Pyramiden-Projektionsanordnung 2710.
  • 29 ist ein Diagramm, das eine ungleichförmige Abbildung für eine Pyramidenprojektion gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Der Rundum-Bild-/Video-Inhalt der Kugel 2402 wird über eine Pyramidenprojektion auf eine quadratische Projektionsfläche (d.h., eine durch „Front“ gekennzeichnete vordere Fläche) und vier dreieckige Projektionsflächen (d.h., eine durch „U“ gekennzeichnete obere Fläche, eine durch „L“ gekennzeichnete linke Fläche, eine durch „B“ gekennzeichnete untere Fläche und eine durch „R“ gekennzeichnete rechte Fläche) abgebildet/projiziert. In diesem Beispiel weist jede der dreieckigen Projektionsflächen, die durch die Pyramidenprojektion erhalten werden, die Form eines gleichschenkligen Dreiecks auf. Der zu codierende projektionsbasierte Rahmen IMG muss rechteckig sein. Wenn die Projektionsanordnung L_VR durch die entfaltete Pyramidenanordnung 2920 festgelegt ist, müssen Auffüllbereiche (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) in dem projektionsbasierten Rahmen IMG aufgefüllt werden. Um dieses Problem zu adressieren, schlägt die vorliegende Erfindung eine kompakte Pyramidenanordnung 2910 vor.
  • Nachdem eine quadratische Projektionsfläche (d.h., eine vordere Fläche) und vier dreieckige Projektionsflächen (d.h., eine obere Fläche, eine linke Fläche, eine untere Fläche und eine rechte Fläche) durch die Projektionsschaltung 132 über die Pyramidenprojektion des Rundum-Bild-/Video-Inhalts auf der Kugel 2402 erhalten worden sind, kann die Wiederabtastschaltung 134 eine ungleichförmige Abbildung auf einige oder alle der quadratischen Projektionsfläche (d.h., der vorderen Fläche) und der dreieckigen Projektionsflächen (d.h., der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) ausführen. Zum Beispiel wird jede der dreieckigen Projektionsflächen (d.h., der oberen Fläche, der linken Fläche, der unteren Fläche und der rechten Fläche) zu einer anderen Form (z.B. der Form eines gleichschenkligen rechtwinkligen Dreiecks) erneut abgetastet. Insbesondere werden die gleichschenklig dreieckig geformten Projektionsflächen mit einer Höhe H jeweils zu den gleichschenklig rechtwinklig dreieckig geformten Projektionsflächen mit einer Höhe h herunterskaliert.
  • Die Abtastrate (Abtastdichte) ist höher, wenn Abtastpunkte in einer Projektionsfläche (z.B. einer der dreieckigen Projektionsflächen) näher an der vorderen Fläche oder der Hauptansicht liegen. Die erneut abgetastete rechte Fläche (welche die Form eines gleichschenklig-rechtwinkligen Dreiecks aufweist) als Beispiel nehmend werden Pixel eines ersten erneut abgetasteten Bereichs A1 durch ein erneutes Abtasten eines ersten Quellbereichs der ursprünglichen rechten Fläche (welche die Form eines gleichschenklig-rechtwinkligen Dreiecks aufweist) mit einer höheren Abtastrate (Abtastdichte) bestimmt, und Pixel eines zweiten erneut abgetasteten Bereichs A2 werden durch ein erneutes Abtasten eines zweiten Quellbereichs der ursprünglichen rechten Fläche (welche die Form eines gleichschenkligen Dreiecks aufweist) mit einer geringeren Abtastrate (Abtastdichte) bestimmt. Dies ist jedoch nicht gedacht, eine Einschränkung der vorliegenden Erfindung zu sein. Alternativ kann ein erneutes Abtasten der Pyramidenprojektionsfläche eine gleichförmige Abbildung, eine ungleichförmige Abbildung oder eine Kombination einer gleichförmigen Abbildung und einer ungleichförmigen Abbildung einschließen.
  • Die Komprimierungsschaltung 136 komprimiert eine obere Fläche „U“ (welche eine erneut abgetastete Projektionsfläche ist), eine untere Fläche „B“ (welche eine erneut abgetastete Projektionsfläche ist), eine vordere Fläche „Front“ (welche eine Hauptansicht ist, welche eine Projektionsfläche ohne ein erneutes Abtasten sein kann oder eine erneut abgetastete Projektionsfläche sein kann), eine linke Fläche „L“ (welche eine erneut abgetastete Projektionsfläche ist) und eine rechte Fläche „R“ (welche eine erneut abgetastete Projektionsfläche ist) in der kompakten Pyramidenprojektionsanordnung 2910. Da die kompakte Pyramidenprojektionsanordnung 2910 die Form eines Rechtecks aufweist, braucht der projektionsbasierte Rahmen IMG mit der kompakten Pyramidenanordnung 2910 keinen Auffüllbereich (z.B. schwarze Bereiche, graue Bereiche oder weiße Bereiche) darin aufgefüllt aufzuweisen.
  • Es sollte beachtet werden, dass Projektionsflächen, die über eine 360-VR-Projektion erhalten werden, jeweils unter Verwendung von unterschiedlichen Abbildungsfunktionen erneut abgetastet werden können. Zum Beispiel erhält die Wiederabtastschaltung 134 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer ersten Projektionsfläche durch eine ungleichförmige Abbildung, und erhält eine zweite erneut abgetastete Projektionsfläche durch erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer zweiten Projektionsfläche durch eine ungleichförmige Abbildung (oder eine gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten der ersten Projektionsfläche eingesetzt wird, die von der Projektionsschaltung 132 generiert wird, von einer Abbildungsfunktion, die für das erneute Abtasten der zweiten Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, verschieden ist.
  • Ähnlich können Projektionsflächen, die von einem decodierten projektionsbasierten Rahmen erhalten werden, jeweils unter Verwendung von verschiedenen inversen Abbildungsfunktionen erneut abgetastet werden. Zum Beispiel erhält die Wiederabtastschaltung 144 auf der Decodierer-Seite (d.h. der Zielelektronikvorrichtung 104) eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer ersten Projektionsfläche durch eine inverse ungleichförmige Abbildung, und erhält eine zweite erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils (d.h., ein Teil oder alles) einer zweiten Projektionsfläche durch eine inverse ungleichförmige Abbildung (oder eine inverse gleichförmige Abbildung), wobei eine inverse Abbildungsfunktion, die für das erneute Abtasten der ersten Projektionsfläche, die von der Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, von einer inversen Abbildungsfunktion, die für das erneute Abtasten der zweiten Projektionsfläche, die von der Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, verschieden ist.
  • Weiter können verschiedene Abbildungsfunktionen für ein erneutes Abtasten einer Projektionsfläche, die über eine 360-VR-Projektion erhalten wird, kombiniert werden. Zum Beispiel erhält die Wiederabtastschaltung 134 auf der Codierer-Seite (d.h., der Quellelektronikvorrichtung 102) einen ersten Teil einer erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines ersten Teils einer Projektionsfläche durch eine ungleichförmige Abbildung, und erhält einen zweiten Teil der erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines zweiten Teils der gleichen Projektionsfläche durch eine ungleichförmige Abbildung (oder eine gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der Projektionsfläche, die von der Projektionsschaltung 132 generiert wird, eingesetzt wird, verschieden ist.
  • Ähnlich können verschiedene inverse Abbildungsfunktionen für ein erneutes Abtasten einer Projektionsfläche, die von dem decodierten projektionsbasierten Rahmen IMG' erhalten wird, kombiniert werden. Zum Beispiel erhält die Wiederabtastschaltung 144 auf der Decodierer-Seite (d.h., der Zielelektronikvorrichtung 104) einen ersten Teil einer erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines ersten Teils einer Projektionsfläche durch eine inverse ungleichförmige Abbildung, und erhält einen zweiten Teil der erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten eines zweiten Teils der gleichen Projektionsfläche durch eine inverse ungleichförmige Abbildung (oder eine inverse gleichförmige Abbildung), wobei eine Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der Projektionsfläche, die durch die Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der Projektionsfläche, die durch die Dekomprimierungsschaltung 142 erhalten wird, eingesetzt wird, verschieden ist.
  • Diejenigen mit Kenntnissen auf dem Gebiet werden leicht erkennen, dass zahlreiche Modifikationen und Änderungen der Vorrichtung und des Verfahrens vorgenommen werden können, während die Lehren der Erfindung beibehalten werden. Entsprechend sollte die vorstehende Offenbarung nur als durch die Maße und Grenzen der angehängten Ansprüche beschränkt angesehen werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62481714 [0001]

Claims (22)

  1. Video-Verarbeitungsverfahren, umfassend: Erhalten mindestens einer Projektionsfläche von einem Rundum-Inhalt einer Kugel, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird, und die mindestens eine Projektionsfläche eine erste Projektionsfläche aufweist; Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche von der ersten Abtastdichte verschieden ist, hergeleitet wird; Generieren eines projektionsbasierten Rahmens gemäß einer Projektionsanordnung der 360-VR-Projektion, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche komprimiert in der Projektionsanordnung aufweist; und Codieren des projektionsbasierten Rahmens, um einen Teil eines Bitstroms zu generieren.
  2. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche einen gleichen Formtyp aufweisen.
  3. Video-Verarbeitungsverfahren gemäß Anspruch 2, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche eine gleiche Größe aufweisen.
  4. Video-Verarbeitungsverfahren gemäß Anspruch 2, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche unterschiedliche Größen aufweisen.
  5. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche unterschiedliche Formtypen aufweisen.
  6. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die mindestens eine Projektionsfläche weiter eine zweite Projektionsfläche aufweist, und das Video-Verarbeitungsverfahren weiter umfasst: Erhalten einer zweiten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils der zweiten Projektionsfläche, wobei der projektionsbasierte Rahmen weiter die zweite erneut abgetastete Projektionsfläche komprimiert in der Projektionsanordnung aufweist; und eine Abbildungsfunktion, die für das erneute Abtasten des mindestens einen Teils der ersten Projektionsfläche eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des mindestens einen Teils der zweiten Projektionsfläche eingesetzt wird, verschieden ist.
  7. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die erste erneut abgetastete Projektionsfläche einen ersten Teil, der durch ein erneutes Abtasten eines ersten Teils der ersten Projektionsfläche durch die ungleichförmige Abbildung erhalten wird, und einen zweiten Teil, der durch ein erneutes Abtasten eines zweiten Teils der ersten Projektionsfläche erhalten wird, aufweist, und eine Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der ersten Projektionsfläche eingesetzt wird, von einer Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der ersten Projektionsfläche eingesetzt wird, verschieden ist.
  8. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die ungleichförmige Abbildung entlang nur einer einzelnen Abbildungsrichtung ausgeführt wird.
  9. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die ungleichförmige Abbildung entlang verschiedener Abbildungsrichtungen ausgeführt wird.
  10. Video-Verarbeitungsverfahren gemäß Anspruch 1, wobei die Projektionsanordnung eine viewport-basierte Würfelprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramiden-Projektion- (TSP-) Anordnung oder eine kompakte Pyramidenanordnung ist.
  11. Video-Verarbeitungsverfahren, umfassend: Empfangen eines Teils eines Bitstroms; Decodieren des Teils des Bitstroms, um einen projektionsbasierten Rahmen zu generieren, wobei der projektionsbasierte Rahmen einen 360-Grad-Inhalt aufweist, der durch mindestens eine Projektionsfläche repräsentiert wird, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion komprimiert ist, und die mindestens eine Projektionsfläche eine erste Projektionsfläche mit mindestens einem Teil, der durch eine codierer-seitige ungleichförmige Abbildung erzeugt wird, aufweist; und Erhalten einer ersten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten des mindestens einen Teils der ersten Projektionsfläche durch eine Inverse der codierer-seitigen ungleichförmigen Abbildung durch eine Wiederabtastschaltung, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche von der ersten Abtastdichte verschieden ist, hergeleitet wird.
  12. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche einen gleichen Formtyp aufweisen.
  13. Video-Verarbeitungsverfahren gemäß Anspruch 12, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche eine gleiche Größe aufweisen.
  14. Video-Verarbeitungsverfahren gemäß Anspruch 12, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche unterschiedliche Größen aufweisen.
  15. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die erste Projektionsfläche und die erste erneut abgetastete Projektionsfläche unterschiedliche Formtypen aufweisen.
  16. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die mindestens eine Projektionsfläche weiter eine zweite Projektionsfläche mit mindestens einem Teil, der durch ein codierer-seitiges erneutes Abtasten erzeugt wird, aufweist, das Video-Verarbeitungsverfahren weiter umfasst: Erhalten einer zweiten erneut abgetasteten Projektionsfläche durch ein erneutes Abtasten des mindestens einen Teils der zweiten Projektionsfläche; und eine inverse Abbildungsfunktion, die für das erneute Abtasten des mindestens einen Teils der ersten Projektionsfläche eingesetzt wird, von einer inversen Abbildungsfunktion, die für das erneute Abtasten des mindestens einen Teils der zweiten Projektionsfläche eingesetzt wird, verschieden ist.
  17. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die erste erneut abgetastete Projektionsfläche einen ersten Teil, der durch ein erneutes Abtasten eines ersten Teils der ersten Projektionsfläche durch die Inverse der codierer-seitigen ungleichförmigen Abbildung erhalten wird, und einen zweiten Teil, der durch ein erneutes Abtasten eines zweiten Teils der ersten Projektionsfläche erhalten wird, aufweist, und eine inverse Abbildungsfunktion, die für das erneute Abtasten des ersten Teils der ersten Projektionsfläche eingesetzt wird, von einer inversen Abbildungsfunktion, die für das erneute Abtasten des zweiten Teils der ersten Projektionsfläche eingesetzt wird, verschieden ist.
  18. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die Inverse der codierer-seitigen ungleichförmigen Abbildung entlang nur einer einzelnen Abbildungsrichtung ausgeführt wird.
  19. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die Inverse der codierer-seitigen ungleichförmigen Abbildung entlang verschiedener Abbildungsrichtungen ausgeführt wird.
  20. Video-Verarbeitungsverfahren gemäß Anspruch 11, wobei die Projektionsanordnung eine viewport-basierte Würfelprojektionsanordnung, eine Abgeschnittene-Quadratische-Pyramiden-Projektion- (TSP-) Anordnung oder eine kompakte Pyramidenanordnung ist.
  21. Video-Verarbeitungsvorrichtung, aufweisend: eine Projektionsschaltung, die eingerichtet ist, mindestens eine Projektionsfläche von einem Rundum-Inhalt einer Kugel zu erhalten, wobei der Rundum-Inhalt der Kugel über eine 360-Grad-Virtual-Reality- (360-VR-) Projektion auf die mindestens eine Projektionsfläche abgebildet wird, und die mindestens eine Projektionsfläche eine erste Projektionsfläche aufweist; eine Wiederabtastschaltung, die eingerichtet ist, eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten mindestens eines Teils der ersten Projektionsfläche durch eine ungleichförmige Abbildung zu erhalten, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche von der ersten Abtastdichte verschieden ist, hergeleitet wird; eine Komprimierungsschaltung, die eingerichtet ist, einen projektionsbasierten Rahmen gemäß einer Projektionsanordnung der 360-VR-Projektion zu generieren, wobei der projektionsbasierte Rahmen die erste erneut abgetastete Projektionsfläche komprimiert in der Projektionsanordnung aufweist; und einen Video-Codierer, der eingerichtet ist, den projektionsbasierten Rahmen zu codieren, um einen Teil eines Bitstroms zu generieren.
  22. Video-Verarbeitungsvorrichtung, aufweisend: einen Video-Decodierer, der eingerichtet ist, einen Teil eines Bitstroms zu empfangen und den Teil des Bitstroms zu decodieren, um einen projektionsbasierten Rahmen zu generieren, wobei der projektionsbasierte Rahmen einen 360-Grad-Inhalt aufweist, der durch mindestens eine Projektionsfläche repräsentiert wird, die in einer Projektionsanordnung einer 360-Grad-Virtual-Reality- (360-VR-) Projektion komprimiert ist, und die mindestens eine Projektionsfläche eine erste Projektionsfläche mit mindestens einem Teil, der durch eine codierer-seitige ungleichförmige Abbildung erzeugt wird, aufweist; eine Dekomprimierungsschaltung, die eingerichtet ist, die erste Projektionsfläche von dem projektionsbasierten Rahmen gemäß der Projektionsanordnung zu erhalten; und eine Wiederabtastschaltung, die eingerichtet ist, eine erste erneut abgetastete Projektionsfläche durch ein erneutes Abtasten des mindestens einen Teils der ersten Projektionsfläche durch eine Inverse der codierer-seitigen ungleichförmigen Abbildung zu erhalten, wobei die erste Projektionsfläche einen ersten Quellbereich und einen zweiten Quellbereich aufweist, die erste erneut abgetastete Projektionsfläche einen ersten erneut abgetasteten Bereich und einen zweiten erneut abgetasteten Bereich aufweist, der erste erneut abgetastete Bereich von einem erneuten Abtasten des ersten Quellbereichs mit einer ersten Abtastdichte hergeleitet wird, und der zweite erneut abgetastete Bereich von einem erneuten Abtasten des zweiten Quellbereichs mit einer zweiten Abtastdichte, welche von der ersten Abtastdichte verschieden ist, hergeleitet wird.
DE112018000660.3T 2017-04-05 2018-04-03 Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird Pending DE112018000660T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762481714P 2017-04-05 2017-04-05
US62/481,714 2017-04-05
PCT/CN2018/081723 WO2018184528A1 (en) 2017-04-05 2018-04-03 Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping

Publications (1)

Publication Number Publication Date
DE112018000660T5 true DE112018000660T5 (de) 2019-10-24

Family

ID=63713266

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018000660.3T Pending DE112018000660T5 (de) 2017-04-05 2018-04-03 Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird

Country Status (6)

Country Link
US (1) US10356386B2 (de)
CN (1) CN110506291B (de)
DE (1) DE112018000660T5 (de)
GB (1) GB2573951A (de)
TW (1) TWI654874B (de)
WO (1) WO2018184528A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
DE112018002432T5 (de) 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
DE102018006838A1 (de) * 2017-11-03 2019-05-09 Adobe Inc. Dynamisches Mapping von virtuellen und physischen Interaktionen
US10922783B2 (en) * 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
AU2003295586B2 (en) 2002-11-15 2009-05-07 Warner Bros. Entertainment Inc. Method for digitally rendering skin or like materials
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) * 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245373B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
JP6687015B2 (ja) 2015-03-05 2020-04-22 ソニー株式会社 画像処理装置および画像処理方法
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
DE112016002377T5 (de) 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及系统
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股(北京)有限公司 一种视频解码方法、装置和电子设备
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
CN107622474B (zh) * 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法

Also Published As

Publication number Publication date
TW201840182A (zh) 2018-11-01
US10356386B2 (en) 2019-07-16
CN110506291A (zh) 2019-11-26
US20180359459A1 (en) 2018-12-13
TWI654874B (zh) 2019-03-21
GB201912012D0 (en) 2019-10-02
GB2573951A (en) 2019-11-20
WO2018184528A1 (en) 2018-10-11
CN110506291B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
DE112018000660T5 (de) Verfahren und Vorrichtung zum Verarbeiten eines projektionsbasierten Rahmens mit mindestens einer Projektionsfläche, die unter Verwendung einer ungleichförmigen Abbildung generiert wird
DE112018000177T5 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens, welcher mindestens einen Auffüllbereich und mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt sind
DE112019004696T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens
US6873343B2 (en) Scalable graphics image drawings on multiresolution image with/without image data re-usage
US6549674B1 (en) Image compression based on tiled wavelet-like transform using edge and non-edge filters
DE112019000219T5 (de) Adaptive-Loop-Filterung-Verfahren für einen rekonstruierten projektionsbasierten Rahmen, welcher eine Projektionsanordnung einer 360-Grad-Virtual-Reality-Projektion einsetzt
DE112018002436T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt ist
DE112018000176T5 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, repräsentiert in Projektionsflächen, die in einer segmentierten Kugelprojektionsanordnung gepackt sind
DE69924102T2 (de) Skalierung komprimierter bilder
DE112009001679T5 (de) Skalierbarkeitstechniken einer Farbskala
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
DE112020001290T5 (de) Videocodierungsverfahren mit Syntaxelementsignalisierung einer Guard-Band-Konfiguration eines projektionsbasierten Rahmens und dazugehörige Videodecodierungsverfahren und Vorrichtungen
DE112018002432T5 (de) Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
DE102015009683A1 (de) Cloudbasierte inhaltsspezifische Füllung für Bilder
DE112019000203T5 (de) Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher Projektionsflächen aufweist, die in einer würfelbasierten Projektionsanordnung mit einer Auffüllung gepackt sind
DE69818751T2 (de) Dekompression von interpolierten Bildern
JP2004531969A (ja) ビデオ画像の解像度をダウンスケールする方法及び装置
DE112018004592T5 (de) Wiedergabevorrichtung und -verfahren und erzeugungsvorrichtung und -verfahren
EP1374559B1 (de) Verfahren zur komprimierung und dekomprimierung von bilddaten
DE112019000287T5 (de) Sample-Adaptive-Offset-Filterungsverfahren für einen rekonstruierten projektionsbasierten Rahmen, welcher eine Projektionsanordnung einer 360-Grad-Virtual-Reality-Projektion einsetzt
DE69723325T2 (de) Verfahren und Vorrichtung zur Codierung und Decodierung von Bildern
WO2019130794A1 (ja) 映像処理装置
DE69909880T2 (de) Dekodierung eines komprimierten digitalen Bildsignals
DE112017005123B4 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, der durch rechteckige Projektionsflächen repräsentiert wird, die in einer Viewport-basierten Würfelprojektionsanordnung gepackt sind
DE112018000128B4 (de) Verfahren und Vorrichtung zum Generieren und Codieren eines projektionsbasierten Rahmens mit 360-Grad-Inhalt, der durch eine Basisprojektionsfläche und Seitenprojektionsflächen repräsentiert wird, die in einer Pyramidenprojektionsanordnung gepackt sind

Legal Events

Date Code Title Description
R012 Request for examination validly filed