DE102017115208A1

DE102017115208A1 - 2D-Video mit der Option für projiziertes Betrachten in einem modellierten 3D-Raum

Info

Publication number: DE102017115208A1
Application number: DE102017115208.3A
Authority: DE
Inventors: Bryce Reid; Samuel Kvaalen; Gabriel Dottl
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-07-07
Filing date: 2017-07-07
Publication date: 2018-01-11
Also published as: CN107590771B; GB2553892A; US10909761B1; GB2553892B; WO2018009427A1; DE202017104054U1; GB201710886D0; CN107590771A

Abstract

Ein 2D/3D-Multimediaverteilungssystem ermöglicht einem Anwender, 2D-Videoinhalt in einem herkömmlichen 2D-Ansichtsmodus oder "flachen" Ansichtsmodus zu betrachten, oder ermöglicht, falls das System VR/AR-fähig ist und der Anwender entsprechend geneigt ist, das Bereitstellen einer Darstellung eines 3D-Raums in Zuordnung zu dem 2D-Videoinhalt oder den Zugriff darauf, außerdem kann der 2D-Videoinhalt auf eine spezifizierte Fläche innerhalb des modellierten 3D-Raums zum Betrachten durch den Anwender projiziert werden, als ob das 2D-Video an dieser Fläche/an diesem Ort innerhalb des modellierten 3D-Raums angezeigt würde. Ferner kann die Haltung des Anwenders überwacht werden und die Projektion des 2D-Videoinhalts dementsprechend aktualisiert werden, damit sie mit der aktuellen Haltung und dem Blick des Anwenders in den modellierten 3D-Raum übereinstimmt.

Description

Hintergrund
Gebiet der Offenbarung
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Multimedia-Systeme und insbesondere auf Anzeigesysteme für virtuelle Realität und verbesserte Realität.
Beschreibung des Standes der Technik
Multimediainhalt-Server, Multimedia-Disc-Abspielgeräte und andere Quellen für Multimediainhalt unterstützen das Betrachten von zweidimensionalem Videoinhalt (2D-Videoinhalt) auf den Fernsehgeräten, Monitoren, computerfähigen Mobiltelefonen, computerfähigen Uhren und anderen Anzeigevorrichtungen. Mit der Einführung von virtueller Realität (VR) auf Anwenderebene und Systemen mit verbesserter Realität (AR-Systemen) leiden solche 2D-Videopräsentationen häufig am Fehlen eines Kontexts oder einer "Präsenz" im Vergleich zu dem VR- und AR-Anzeigeinhalt. In herkömmlichen Anzeigesystemen sind Anwender jedoch darauf beschränkt, entweder 2D-Videoinhalt in dem herkömmlichen Flachanzeigemodus zu betrachten oder vollkommen zusammenhanglosen VR- oder AR-Inhalt zu sehen.
Kurzbeschreibung der Zeichnungen
Die vorliegende Offenbarung kann durch Bezugnahme auf die begleitenden Zeichnungen besser verstanden werden und ihre zahlreichen Merkmale und Vorteile für Fachleute offenbart werden. Das Verwenden derselben Bezugszeichen in unterschiedlichen Zeichnungen gibt ähnliche oder gleiche Elemente an.
1 ist ein Blockdiagramm, das ein Multimediaverteilungssystem in Übereinstimmung mit einigen Ausführungsformen darstellt.
2 ist ein Diagramm, das eine Projektion von 2D-Videoinhalt in einen spezifizierten Ort in einem modellierten 3D-Raum in Übereinstimmung mit einigen Ausführungsformen darstellt.
3 ist ein Diagramm, das eine Multimediaanwendung darstellt, die 2D/3D-Anzeigeoptionen für einen 2D-Videostrom in Übereinstimmung mit einigen Ausführungsformen bereitstellt.
4 ist ein Diagramm, das eine 2D- oder "flache" Anzeige eines 2D-Videostroms in Reaktion auf die Auswahl einer 2D-Anzeigeoption in der Multimediaanwendung von 3 in Übereinstimmung mit einigen Ausführungsformen darstellt.
5 ist ein Diagramm, das eine Anzeige eines 2D-Videostroms, der in eine identifizierte Fläche eines modellierten 3D-Raums in Reaktion auf die Auswahl einer 3D-Anzeigeoption in der Multimediaanwendung von 3 in Übereinstimmung mit einigen Ausführungsformen darstellt.
6 ist ein Diagramm, das ein Verarbeitungssystem einer Vorrichtung zum Erzeugen einer Darstellung eines modellierten 3D-Raums in Zuordnung zu einem 2D-Videoinhalt in Übereinstimmung mit einigen Ausführungsformen darstellt.
7 ist ein Ablaufdiagramm, das ein Verfahren zum Erzeugen einer Repräsentation eines modellierten 3D-Raums und Spezifizieren einer Projektionsfläche für 2D-Videoinhalt innerhalb dieses modellierten Raums in Übereinstimmung mit einigen Ausführungsformen darstellt.
8 ist ein Diagramm, das ein Verarbeitungssystem einer Vorrichtung zum Bereitstellen von 2D/3D-Optionen für 2D-Videoinhalt mit einem zugeordneten modellierten 3D-Raum in Übereinstimmung mit einigen Ausführungsformen darstellt.
9 ist ein Ablaufdiagramm, das ein Verfahren zur optionalen 2D/3D-Anzeige von 2D-Videoinhalt mit einem zugeordneten modellierten 3D-Raum in Übereinstimmung mit einigen Ausführungsformen darstellt.
Ausführliche Beschreibung
Herkömmliche Anzeigesysteme beschränken das Betrachten von 2D-Videoinhalt auf den herkömmlichen 2D- oder "flachen" Ansichtsmodus, in dem der 2D-Videoinhalt in einem entsprechenden Fenster oder 2D-Bereich eines Betriebssystems (OS) oder einem Softwareanwendungsanzeigebereich angezeigt wird. AV/VR-Systeme erlauben demgegenüber das Betrachten modellierter 3D-Räume oder von anderem 3D-Inhalt, und viele solcher Systeme ermöglichen einem Anwender durch Verfolgen der Haltung (Ort und/oder Orientierung) der VR/AR-Ausrüstung unter Verwendung verschiedener Sensoren, sich effektiv durch einen 3D-Raum zu "bewegen". Wie hier in mehr Einzelheiten beschrieben ermöglicht ein 2D/3D-Multimediaverteilungssystem einem Anwender, 2D-Videoinhalt in dem herkömmlichen 2D- oder "flachen" Ansichtsmodus zu betrachten, oder falls das System VR/AR-fähig ist und der Anwender so geneigt ist, kann eine Darstellung eines 3D-Raums bereitgestellt oder auf ihn zugegriffen werden in Zuordnung zu dem 2D-Videoinhalt, und der 2D-Videoinhalt kann auf eine spezifizierte Fläche innerhalb des modellierten 3D-Raums projiziert werden zum Betrachten durch den Anwender, als ob das 2D-Video an dieser Fläche innerhalb des modellierten 3D-Raums angezeigt würde oder auf andere Weise aus ihr projiziert würde. Ferner kann in einigen Ausführungsformen die Haltung (Ort und/oder Orientierung) der VR-Anzeigevorrichtung wie z. B. eines Head-Mounted Display (HMD) überwacht und die Projektion des 2D-Videoinhalts dementsprechend aktualisiert werden, um die aktuelle Haltung des HMD und die Sicht in den modellierten 3D-Raum abzustimmen. Die Haltung des Anwenders des HMD bestimmt die Haltung des HMD. Somit kann das System durch Bereitstellen eines Anzeigesystems, das einem Anwender ermöglicht, zwischen einem 2D-Ansichtsmodus und einem 3D-Ansichtsmodus auszuwählen, und das Daten empfängt, die einen modellierten 3D-Raum repräsentieren, und wenn der 3D-Ansichtsmodus ausgewählt ist, den 2D-Videoinhalt auf eine Fläche innerhalb des modellierten 3D-Raums projiziert, sicherstellen, dass die Anzeige des 2D-Videoinhalts in dem modellierten 3D-Raum Relevanz aufweist und ein Anwender mit einer verbesserten Anwendererfahrung versorgt wird. Außerdem ermöglicht eine solche Herangehensweise die Flexibilität der Typen von Systemen, die den 2D-Videoinhalt betrachten, dadurch dass 3Dfähige Anzeigesysteme den 2D-Videoinhalt in dem 3D-Ansichtsmodus betrachten können, während sie es immer noch ermöglichen, dass Anzeigesysteme, die nicht fähig sind, 3D-Videoinhalt zu betrachten, den 2D-Videoinhalt in der herkömmlichen 2D-Weise anzuzeigen. Als solche ermöglichen die hier offenbarten Techniken, dass 3D-fähige Anzeigesysteme eine verbesserte Anwendererfahrung aufweisen, während sie Rückwärtskompatibilität für Anzeigesysteme bereitstellen, die nicht 3D-fähig sind.
Um das durch ein nicht einschränkendes Beispiel darzustellen, kann ein YouTube(TM)-Anwender, der regelmäßig 2D-Videoclips des Anwenders, der Videospiele spielt, hochlädt, das Spiel-Zimmer des Anwenders modellieren und eine Repräsentation des resultierenden 3D-Modells des Spiel-Zimmers in Zuordnung zu einem oder mehreren aus den 2D-Videoclips hochladen. Die 2D-Videoclips können dann als Video-Streamingdateien zu anderen Anwendern über den YouTube(TM)-Dienst gestreamt werden. Diese anderen Anwender können, abhängig von den VR/AR-Fähigkeiten ihrer jeweiligen Computersysteme, auswählen, entweder einen der 2D-Videoclips in einem herkömmlichen flachen 2D-Anzeigemodus in einem Webbrowser zu betrachten oder einen der 2D-Videoclips über ein Head-Mounted Display (HMD) oder eine andere VR-Anzeigevorrichtung zu betrachten, so dass der 2D-Videoclip auf eine Fläche projiziert wird, die einem Computermonitor in dem 3D-Modell des Spiel-Zimmers entspricht und somit so erscheint, als ob der 2D-Videoclip "auf" dem Computermonitor in dem 3D-Modell des Spiel-Zimmers angezeigt würde. Falls ein Anwender die Fähigkeit für 3 Freiheitsgrade (3DoF) oder 6 Freiheitsgrade (6DoF) über die VR-Anzeigevorrichtung besitzt, kann der Anwender die Orte ändern und/oder die Orientierungen ändern und somit die Betrachtungsperspektive des Computermonitors und des 2D-Videoinhalts, der erscheint, als ob er darauf angezeigt würde, ändern.
1 stellt ein 2D/3D-Multimediaverteilungssystem 100 in Übereinstimmung mit wenigstens einer Ausführungsform der vorliegenden Offenbarung dar. In dem abgebildeten Beispiel enthält das System 100 einen Multimedia-Server 102, der mit mehreren Anwendercomputersystemen wie z. B. den Anwendercomputersystemen 104, 106, über ein oder mehrere drahtgebundene oder drahtlose Netze verbunden ist. Die Anwendercomputersysteme 104, 106 können irgendeines aus einer Vielzahl von Vorrichtungen oder Kombinationen von Vorrichtungen umfassen, die verwendet werden, um Multimediainhalt aufzunehmen und/oder zu präsentieren, wie z. B. Desktop-Computer, Notebook-Computer, Tablet-Computer, computerfähige Mobiltelefone, persönliche digitale Assistenten, Spielkonsolen, computerfähige Fernsehgeräte, computerfähige Uhren oder andere tragbare Elemente, HMDs oder andere AR/VR-Anzeigevorrichtungen und dergleichen.
Für das Folgende wird das Anwendercomputersystem 104 als eine Quelle des Videoinhalts und eine Quelle eines 3D-Modells eines virtuellen oder realen Raums verwendet und ist somit hier als das Inhaltsquellensystem 104 bezeichnet, während das Anwendercomputersystem 106 verwendet wird, um 2D-Videoinhalt für einen Anwender in entweder einem 2D-Ansichtsmodus oder einem 3D-Ansichtsmodus zu präsentieren, und somit hier als das 2D/3D-Anzeigesystem 106 bezeichnet ist. Das 2D/3D-Anzeigesystem 106 enthält eine 2D-Anzeigevorrichtung 110 zum Anzeigen von 2D-Videoinhalt in einem 2D-/flachen Anzeigemodus, wobei der 2D-Videoinhalt als ein rechteckiges 2D-Fenster auf einer Anzeigetafel oder einem Monitor der 2D-Anzeigevorrichtung 110 angezeigt wird. Beispiele solcher Vorrichtungen enthalten Desktop-/Notebook-Computer, computerfähige Mobiltelefone, Tablet-Computer und dergleichen. Ferner kann in einigen Fällen das 2D/3D-Anzeigesystem 106 ferner eine VR/AR-Anzeigevorrichtung 112 enthalten, die zum Anzeigen von 3D-Videoinhalt fähig ist. Die VR/AR-Anzeigevorrichtung 112 kann beispielsweise ein getrenntes dediziertes HMD umfassen oder kann durch Konfiguration der 2D-Anzeigevorrichtung 110 auf eine spezielle Weise implementiert sein (wie z. B. die Google Cardboard-VR-Ansicht, in der ein computerfähiges Mobiltelefon in eine Karton-Kopfbedeckung eingeführt wird, um ein HMD zu bilden). In solchen Fällen ist das 2D/3D-Anzeigesystem 106 zum Arbeiten in entweder einem 2D-Ansichtsmodus, in dem 2D-Videoinhalt in einem 2D-Fenster angezeigt wird, oder in einem 3D-Ansichtsmodus, in dem ein modellierter 3D-Raum über die VR/AR-Anzeigevorrichtung 112 präsentiert wird und, wie nachstehend genauer beschrieben, 2D-Videoinhalt auf eine spezifizierte Fläche des modellierten 3D-Raums projiziert wird, fähig. Es wird darauf hingewiesen, dass in einigen Fällen die Vorrichtungen 110, 112 die gleiche Vorrichtung umfassen können.
Im Betrieb erzeugt oder beschafft auf andere Weise das Inhaltsquellensystem 104 2D-Videodaten 114, die 2D-Videoinhalt repräsentieren, und stellt die 2D-Videodaten 114 für den Multimedia-Server 102 zum Speichern und nachfolgenden Verteilen zu anderen Anwendern bereit. Die 2D-Videodaten 114 können beispielsweise einen Videoclip oder einen anderen Videostrom umfassen, der durch einen Anwender des Inhaltsquellensystems 104 aufgezeichnet ist (dieser Anwender ist hier als "Inhaltsanbieter" bezeichnet). Zusätzlich manipuliert der Inhaltsanbieter das Inhaltsquellensystem 104, um ein 3D-Modell eines virtuellen Raums oder realen Raums zu erzeugen oder auf andere Weise zu beschaffen, das als ein Hintergrund für die 3D-Anzeige des 2D-Videoinhalts dienen kann, und eine Repräsentation dieses 3D-Modells als 3D-Modell-Metadaten 116 für den Multimedia-Server 102 zum Verteilen an Empfänger der 2D-Videodaten 114 bereitzustellen. Die 3D-Modell-Metadaten können als Teil der 2D-Videodaten 114 integriert sein. Um das zu veranschaulichen können die 2D-Videodaten 114 als H.264-Videodaten implementiert sein, und die 3D-Modell-Metadaten 116 können als Metadaten in die H.264-Daten unter Verwendung einer Vielzahl von Metadateneinfügungstechniken integriert sein. Als eine weitere Herangehensweise können die 3D-Modell-Metadaten 116 in die Pixel des Videoinhalts selbst codiert sein unter Verwendung einer Vielzahl von Steganografiewerkzeugen, die verwendet werden, um Daten in Pixelinformationen einzubetten. Alternativ können die 3D-Modell-Metadaten 116 getrennt von, jedoch in Zuordnung zu, den 2D-Videodaten 114 bereitgestellt sein. Um das zu veranschaulichen können die 2D-Videodaten 114 einen Bezeichner (ID) enthalten oder referenzieren, der die 3D-Modell-Metadaten 116 identifiziert. Dieser ID kann beispielsweise einen Namen der Datei oder eines anderen Datencontainers, der die 2D-Videodaten 114 beinhaltet, enthalten. Als ein weiteres Beispiel kann der ID in der Form eines ID eines entfernten Speicherorts bereitgestellt sein, wie z. B. eines Links des Hypertextübertragungsprotokolls (HTTP-Link), der dem Speicherort der 3D-Modell-Metadaten 116 zugeordnet ist.
Das 3D-Modell des identifizierten virtuellen Raums (nachstehend als VR-Raum bezeichnet) oder des realen Raums kann auf irgendeine aus einer Vielzahl von Arten erzeugt werden. In einigen Ausführungsformen weist das Inhaltsquellensystem 104 die Fähigkeit auf, Bilder und/oder Tiefeninformationen für ein reales Zimmer oder einen anderen realen Raum aufzunehmen und diese Informationen zu verwenden, um ein VR-Modell des realen Raums zu erzeugen. Um das zu veranschaulichen kann das Inhaltsquellensystem 104 als ein für das Google Projekt Tango fähiges Tablet oder Mobiltelefon implementiert sein, um ein oder mehrere Zimmer mit realer Geometrie zu gestalten und diese Daten mit aufgenommenen Bilddaten zu kombinieren, um ein texturiertes 3D-Modell des einen oder der mehreren Zimmer zu erzeugen. In anderen Ausführungsformen kann das 3D-Modell ein vollständiger VR-Raum sein, der unter Verwendung eines Werkzeugs für computergestütztes Design (CAD-Werkzeugs) oder eines anderen VR-Modellierungswerkzeugs erzeugt wird.
Mit dem so bestimmten 3D-Modell betreibt der Inhaltsanbieter ferner das Inhaltsquellensystem 104, um eine Fläche innerhalb des modellierten 3D-Raums zu identifizieren, auf die der 2D-Videoinhalt effektiv "projiziert" werden kann, so dass er als 2D-Video erscheint, das auf dieser Fläche innerhalb des modellierten Raums "angezeigt" wird. Diese Fläche ist hier als die "Projektionsfläche" bezeichnet. In einigen Ausführungsformen kann die Projektionsfläche beispielsweise eine rechteckige ebene Fläche umfassen, wobei die vier Ecken der rechteckigen Fläche durch vier entsprechende 3D-Koordinatenpunkte in dem Referenzkoordinatensystem des 3D-Modells identifiziert sind. In anderen Ausführungsformen kann die Fläche andere ebene Formen annehmen mit Ecken und/oder Rändern, die durch die entsprechenden 3D-Koordinatenpunkte definiert sind. In noch anderen Ausführungsformen kann die Projektionsfläche eine nicht ebene Form aufweisen, wie z. B. eine gekrümmte Fläche oder eine facettierte Fläche, in der Instanzen der Projektionsfläche unter Verwendung eines geometrischen Gitters oder einer anderen Repräsentation identifiziert werden können.
Um das zu veranschaulichen kann die Oberfläche als ein Punkt in einem 3D-Gitterraum spezifiziert sein, der die Umgebung repräsentiert, zusammen mit einem Normalenvektor, der die Richtung angibt, zu der die Projektionsfläche weisen sollte, und einem Kennzeichen für eine maximale Breite/Höhe (z. B. in Metern) innerhalb dieses Gitterraums. Zwischen diesen könnte ein rechteckiges 2D-Video mit einem beliebigen Betrag der Krümmung wiedergegeben werden und mit einem beliebigen Seitenverhältnis arbeiten. Alternativ könnte ein Inhaltsanbieter ein 2D-Gitter und Texturkoordinaten, auf die ihr Video wiedergegeben werden sollte, das in demselben Raum wie das Umgebungsgitter positioniert ist, bereitstellen. Dieses Gitter müsste typischerweise verändert werden, um sich abhängig von dem Seitenverhältnis des aktuellen Videos zu ändern, um Letterboxing zu vermeiden. Das würde ermöglichen, dass die Inhaltsanbieter Pseudo-6DoF-Video erzeugen mit einem statischen Gitter durch Unterteilen der Videotextur in unterschiedliche Bereiche und dann Bereitstellen eines möglicherweise disjunkten Gitters, auf das das Video wiedergegeben würde. Auf diese Weise ist ein einfacher Aufbau ermöglicht, in dem ein Inhaltsanbieter zwei Videobildschirme im Raum mit getrenntem Inhalt wiedergeben könnte einfach dadurch, dass er ein Gitter aufweist, das zwei Vierecke in die Umgebung stellt und Texturkoordinaten bereitstellt, so dass jedes Quadrat eine andere Hälfte des Videos erhält, was effektiv zwei Videoflächen erlaubt. Das könnte auch mit beliebigen Gittern implementiert sein; beispielsweise könnte eine Umgebung eine Person enthalten, die auf einer Couch sitzt, mit einer statischen Textur als Teil der Umgebung, aber dann könnte der Inhaltsanbieter darüber einen Teil der Videotextur über dem Gesicht (mit einem Gitter, das mit diesem Gesicht übereinstimmt) platzieren, so dass das Gesicht mit dem Video reagieren kann.
Mit der so identifizierten Projektionsfläche integriert das Inhaltsquellensystem 104 eine Repräsentation der Projektionsfläche in die 3D-Modell-Metadaten 116 als Projektionsortsinformationen 118. Abhängig von den Eigenschaften der Projektionsfläche können die Projektionsortsinformationen 118 beispielsweise Repräsentationen der Punkte oder Ecken der Projektionsfläche, eine Repräsentation des geometrischen Gitters, das die Projektionsfläche repräsentiert, oder einen 3D-Punkt und einen Vektor wie vorstehend genannt und dergleichen enthalten.
Mit den 2D-Videodaten 114 und den 3D-Modell-Metadaten 116, die auf den Multimedia-Server 102 hochgeladen sind, sind dann andere Anwender imstande, auf die 2D-Videodaten 114 zum Anzeigen in ihren jeweiligen Anzeigesystemen 106 zuzugreifen. Somit, wenn ein Anwender den 2D-Videoinhalt, der durch die 2D-Videodaten 114 repräsentiert ist, zur Wiedergabe auswählt (z. B. durch Klicken auf einen zugeordneten HTTP-Link in einer Hypertextauszeichnungssprachen-Seite (HTML-Seite), die in einem Webbrowser betrachtet wird, der in dem Anzeigesystem 106 angezeigt wird), initiiert der Multimedia-Server 102 die Übertragung der 2D-Videodaten 114 zu dem Anzeigesystem 106. Die 2D-Videodaten 114 können ein Kennzeichen enthalten, dass die 2D-Videodaten 114 eine 3D-Anzeigeoption zusätzlich zu der herkömmlichen 2D-Anzeigeoption aufweisen. Beispielsweise kann ein Kopf oder ein anderes Feld in dem Container für die 2D-Videodaten 114 einen Wert enthalten, der die Verfügbarkeit dieser Option repräsentiert. In Reaktion auf das Identifizieren der Verfügbarkeit des 3D-Ansichtsmodus für die 2D-Videodaten 114 bestimmt das Anzeigesystem 106, ob es die Fähigkeit besitzt, 2D-Inhalt anzuzeigen, z. B. durch Bestimmen, ob das Anzeigesystem 106 eine VR/AR-Anzeigevorrichtung 112 enthält. Falls die 3D-Anzeigefähigkeit vorhanden ist, kann das Anzeigesystem 106 für den Anwender die Option bereitstellen, den 2D-Videoinhalt der 2D-Videodaten 114 in einem herkömmlichen 2D-Ansichtsmodus, woraufhin der 2D-Videoinhalt in einem rechteckigen 2D-Fenster oder Kasten angezeigt wird, oder in einem 3D-Ansichtsmodus zu betrachten, woraufhin die VR/AR-Anzeigevorrichtung 112 verwendet wird, um den Anwender in den modellierten 3D-Raum, der durch die 3D-Modell-Metadaten 116 repräsentiert ist, einzutauchen, und der 2D-Videoinhalt wird in die Projektionsfläche innerhalb des modellierten 3D-Raums projiziert, wie durch die Projektionsortsinformationen 118 spezifiziert ist. Diese Anzeigemodi sind hier mit mehr Einzelheiten beschrieben.
3 stellt ein Beispiel eines modellierten 3D-Raums mit festgelegter Projektionsfläche in Übereinstimmung mit einigen Ausführungsformen dar. Ein Inhaltsanbieter (das heißt, ein Anwender des Inhaltsquellensystems 104) erzeugt ein 3D-Modell 202 eines Raums, entweder durch Aufnahme von Bildern und Tiefeninformationen für einen realen Raum und "Virtualisierung" der darin enthaltenen Geometrie oder durch Konstruktion eines virtuellen Raums von Grund auf. In dem abgebildeten Beispiel ist der modellierte Raum das Wohnzimmer des Anwenders, das eine modellierte Repräsentation eines Fernsehgeräts 204 beinhaltet. Der Inhaltsanbieter legt ferner die Anzeigefläche des Fernsehgeräts 204 als eine Projektionsfläche 206 zum Projizieren von 2D-Videoinhalt in den modellierten 3D-Raum, der durch das 3D-Modell 202 repräsentiert ist, fest. Die Projektionsfläche 206 kann innerhalb des 3D-Raums 202 beispielsweise durch Spezifizieren der 3D-Koordinaten innerhalb des Koordinatenrahmens des 3D-Modells 202 der vier Ecken 211, 212, 213, 214 der rechteckigen ebenen Fläche, die durch die Projektionsfläche 206 repräsentiert ist, identifiziert werden.
Der Inhaltsanbieter spezifiziert außerdem einen 2D-Videostrom 216 zum Anzeigen entweder in einem herkömmlichen flachen 2D-Ansichtsmodus oder zur Projektion auf die Projektionsfläche 206 für einen 3D-Ansichtsmodus. Der 2D-Videostrom 216 umfasst eine Folge von 2D-Bildern wie z. B. die dargestellten 2D-Bilder 217, 218, 219. Dementsprechend wird, wie hier mit mehr Einzelheiten beschrieben ist, wenn ein Inhaltskonsument (das heißt ein Anwender des 2D/3D-Anzeigesystems 106) auf die 2D-Videodaten 114 und 3D-Modell-Metadaten 116 aus dem Multimedia-Server 102 (1) zugreift und den 3D-Ansichtsmodus auswählt, eine 3D-Repräsentation 220 des 3D-Modells 202 für den Inhaltskonsumenten über die VR/AR-Anzeigevorrichtung 112 angezeigt, wobei die Perspektive des 3D-Modells 202 auf der aktuellen Haltung der VR/AR-Anzeigevorrichtung 112 basieren kann, falls die VR/AR-Anzeigevorrichtung 112 zum Verfolgen der Haltung fähig ist. Um die projizierte 3D-Ansicht des 2D-Videostroms innerhalb der 3D-Repräsentation 220 bereitzustellen, verwendet das 2D/3D-Anzeigesystem 106 irgendeinen aus einer Vielzahl von Koordinatensystemtransformationsalgorithmen, um jedes Bild des 2D-Videostroms 216 aus einem 2D-Koordinatenrahmen in eine entsprechende Textur 222 in dem Koordinatenrahmen des 3D-Modells zu transformieren, und die resultierende Textur 222 wird in die Projektionsfläche 206 eines oder mehrerer Bilder 224 integriert, die in der VR/AR-Anzeigevorrichtung 112 angezeigt wird, zum Bereitstellen der Anzeige der 3D-Repräsentation 220.
Wie vorstehend erläutert kann ein Inhaltskonsument (das heißt, ein Anwender des Systems 106) nicht die Ausrüstung oder den Wunsch haben, den 2D-Videoinhalt projiziert in einen 3D-Raum zu betrachten, und somit kann der Inhaltskonsument mit der Möglichkeit versorgt werden, zwischen einem 2D-Ansichtsmodus und einem 3D-Ansichtsmodus für den 2D-Videoinhalt auszuwählen. 3 stellt eine beispielhafte Herangehensweise zum Bereitstellen dieser Option, den Anzeigemodus auszuwählen, für den Inhaltskonsumenten dar, 4 stellt eine beispielhafte Herangehensweise für den 2D-Ansichtsmodus dar, wenn er ausgewählt ist, und 5 stellt eine beispielhafte Herangehensweise für den 3D-Ansichtsmodus dar, wenn er ausgewählt ist. Wie in 3 gezeigt ist, kann der Inhaltskonsument anfangs über eine Eingabe in eine oder eine andere Manipulation einer graphischen Benutzeroberfläche (GUI) einer Softwareanwendung 300 in dem 2D/3D-Anzeigesystem 106 auf eine Video-Streamingdatei oder einen anderen Videostrom zugreifen oder auf andere Weise einen Wunsch angeben, sie/ihn zu betrachten. In dem dargestellten Beispiel umfasst die Softwareanwendung 300 einen Webbrowser, der auf eine Webseite für gemeinsames Verwenden von Videos, wie z. B. die YouTube(TM)-Webseite (die beispielsweise durch den Multimedia-Server 102 geliefert wird), zugegriffen hat. Der Inhaltskonsument wählt über den Webbrowser einen 3D-anzeigefähigen Videoclip aus. In Reaktion darauf wird ein 2D-Anzeigefenster 302 präsentiert, zusammen mit einem Ansichtsauswahlfeld 304 (in diesem Beispiel als ein Dropdown-Menü abgebildet), das die Ansichtsmodi identifiziert, die für den Videoclip verfügbar sind, das heißt einen 2D-Ansichtsmodus und einen 3D-Ansichtsmodus. In Fällen, in denen das 2D/3D-Anzeigesystem 106 nicht zum Bereitstellen der 3D-Anzeige fähig ist, oder in Fällen, wenn ein ausgewählter Clip nicht 3D-anzeigefähig ist, kann das Ansichtsauswahlfeld 304 den 3D-Ansichtsmodus als eine Option nicht abbilden oder kann die Auswahl des 3D-Ansichtsmodus verhindern. Der Inhaltskonsument kann dann das Ansichtsauswahlfeld 304 manipulieren, um auszuwählen, ob der 2D-Videoclip in einer flachen 2D-Präsentation angezeigt werden soll oder über Projektion des 2D-Videoinhalts auf eine Projektionsfläche eines modellierten 3D-Raums, der dem Videoclip zugeordnet ist, angezeigt werden soll.
Wie durch 4 gezeigt ist, wenn der Inhaltskonsument durch Auswählen von "2D" in dem Dropdown-Menü, das das Ansichtsauswahlfeld 304 repräsentiert, wählt, den 2D-Videoclip in dem 2D-Ansichtsmodus zu betrachten, greift die Softwareanwendung 300 (als Webbrowser) auf die 2D-Videodaten 114 zu und stellt den 2D-Videoinhalt 402, der darin repräsentiert ist, zur Anzeige in dem 2D-Anzeigefenster 302 der Softwareanwendung 300 in einer Anzeigetafel 404 des 2D/3D-Anzeigesystems 106 durch herkömmliche 2D-Videoanzeigetechniken bereit. Dagegen, wie durch 5 gezeigt ist, wenn der Inhaltskonsument durch Auswählen von "3D" in dem Dropdown-Menü, das das Ansichtsauswahlfeld 304 repräsentiert, wählt, den 2D-Videoclip in dem 3D-Ansichtsmodus zu betrachten, aktiviert die Softwareanwendung 300 den 3D-Ansichtsmodus, in dem die Softwareanwendung 300 auf die 3D-Modell-Metadaten 116, die dem Videoclip zugeordnet sind, zugreift, und dieselbe Softwareanwendung 300 oder eine weitere Softwareanwendung stellt dann eine 3D-Anzeige des modellierten 3D-Raums, der durch die 3D-Modell-Metadaten 116 repräsentiert ist, in der VR/AR-Anzeigevorrichtung 112 bereit (z. B. als parallele Ströme stereoskopischer Bilder, wie in 5 gezeigt ist). Wie vorstehend erläutert enthält dieser 3D-Anzeigeprozess die Transformation jedes Bilds des 2D-Videoclips in zwei entsprechende Flächen (eine für das Bild des linken Auges und eines für das Bild des rechten Auges) zur Integration in die parallelen Ströme aus stereoskopischen Bildern, so dass das Bild so erscheint, als ob es an einer Projektionsfläche, die für den modellierten 3D-Raum spezifiziert ist, angezeigt oder aus ihr projiziert wird.
6 stellt eine Beispielimplementierung des Inhaltsquellensystems 104 des Multimediaverteilungssystems 100 von 1 in Übereinstimmung mit einigen Ausführungsformen dar. In dem abgebildeten Beispiel enthält das Inhaltsquellensystem 104 wenigstens einen Prozessor 602, einen Datenspeicher 604, einen Systemspeicher 606 oder eine andere Software-Speicherkomponente und eine Netzschnittstelle 608 zu dem Netz 108 (1). Ferner stellt in einigen Ausführungsformen das Inhaltsquellensystem 104 optischen Fluss, simultane Lokalisierung und Kartenerstellung (SLAM) oder eine andere bildaufnahmebasierte Telemetriefunktionalität bereit und kann somit eine Gruppe von Bildaufnahmekameras 610, 612, einen Tiefensensor 614, eine Trägheitsmesseinheit (IMU) 616 und einen Sensor-Hub 618, um die Komponenten 610–616 zu steuern, enthalten. Die IMU 616 kann beispielsweise eines oder mehrere aus einem Gyroskop 620, einem Magnetometer 622, einem Beschleunigungsmesser 624 und dergleichen enthalten.
Der Systemspeicher 606 speichert eine Softwareanwendung 626 (eine Ausführungsform der Softwareanwendung 300 von 3), die ausführbare Anweisungen enthält, auf die der wenigstens eine Prozessor 602 zugreift und sie ausführt, und die, wenn sie so ausgeführt werden, den Prozessor 602 manipulieren, zusammen mit den anderen Komponenten die verschiedene hier in Bezug auf das Inhaltsquellensystem 104 beschriebene Funktionalität bereitzustellen. Zu diesem Zweck ist die Softwareanwendung 626 als eine Gruppe von Modulen ausgelegt, die ein 3D-Modellierungsmodul 628 und ein Videoprojektionsplatzierungsmodul 630 enthalten.
7 stellt ein Beispielverfahren 700 des Betriebs der Implementierung des Inhaltsquellensystems 104, das in 6 dargestellt ist, zum Erzeugen und Bereitstellen der 2D-Videodaten 114 und der 3D-Modell-Metadaten 116 zum Verteilen zu anderen Systemen in Übereinstimmung mit einigen Ausführungsformen dar. Das Verfahren 700 startet bei Block 702 mit der Identifizierung, Erzeugung oder anderer Bestimmung von 2D-Videoinhalt, der für entweder 2D- oder 3D-Anzeige verfügbar gemacht werden soll. In einigen Ausführungsformen kann die Bestimmung von 2D-Videoinhalt die Auswahl von vorher erzeugtem 2D-Videoinhalt enthalten. Beispielsweise kann ein Inhaltsanbieter einen 2D-Videoclip aus einer Datenbank von 2D-Videoclips, die in dem Datenspeicher 604 gespeichert sind, zur 2D/3D-Verarbeitung wie hier beschrieben auswählen. In anderen Ausführungsformen wird der 2D-Videoinhalt ausdrücklich erzeugt, um für den hier beschriebenen 2D/3D-Anzeigeoptionsprozess verfügbar zu sein. In solchen Fällen kann der 2D-Videoinhalt über eine aus den Bildaufnahmekameras 610, 612 aufgenommen werden, über eine Computergrafikanwendung erzeugt werden, oder eine Kombination daraus. Falls der 2D-Videoinhalt bei Block 702 erzeugt wird, kann der erzeugte 2D-Videoinhalt zum Speichern als die 2D-Videodaten 114 in dem Datenspeicher 604 bereitgestellt werden. Ferner können bei Block 702 die erzeugten oder ausgewählten 2D-Videodaten 114 über die Netzschnittstelle 608 zu dem Multimedia-Server 102 zum Speichern und zur nachfolgenden Verteilung übertragen werden.
Bei Block 704 wird das 3D-Modellierungsmodul 620 in dem Inhaltsquellensystem 104 ausgeführt, um ein 3D-Modell eines spezifizierten Raums basierend auf einer Anwendereingabe 632 während des 3D-Modellierungsprozesses auszuführen. Wie durch den Block 703 repräsentiert ist, kann der Inhaltsanbieter wünschen, ein 3D-Modell eines realen Raums zu erzeugen. Um das zu veranschaulichen, falls der 2D-Videoinhalt repräsentiert, dass der Inhaltsanbieter ein Videospiel in einem Wohnzimmer spielt, kann der Inhaltsanbieter wünschen, ein 3D-Modell dieses Wohnzimmers zu erzeugen, um einem Betrachter das Gefühl zu geben, in dem Wohnzimmer zu sein und das gespielte Spiel zu beobachten. Dementsprechend kann der 3D-Modellierungsprozess von Block 704 beispielsweise enthalten, dass das 3D-Modellierungsmodul 628 die Bildaufnahmekameras 610, 612 benutzt, um Bilder des realen Raums aufzunehmen, den Tiefensensor 614 benutzt, um Tiefeninformationen für den realen Raum zu erfassen, und die IMU 616 benutzt, um Haltungsinformationen während des Aufnehmens der Bilder und der Tiefeninformationen zu bestimmen und aus diesen Informationen verschiedene geeignete räumliche Merkmale des realen Raums im Kontext eines Referenzkoordinatenrahmens, der mit dem realen Raum verbunden ist, zu bestimmen. Das 3D-Modellierungsmodul 628 kann dann diese räumlichen Merkmale und diesen Referenzkoordinatenrahmen verwenden, um ein 3D-Modell 634 (6) der räumlichen Geometrie des realen Raums zu erzeugen. Alternativ kann, wie durch Block 705 repräsentiert ist, der Inhaltsanbieter wünschen, ein 3D-Modell eines virtuellen Raums zu erzeugen, wobei in diesem Fall das 3D-Modellierungsmodul 628 ein CAD-Werkzeug oder anderes VR-Werkzeug einsetzen oder sich damit koordinieren kann, um ein 3D-Modell (6) dieses virtuellen Raums zu konstruieren.
Mit dem spezifizierten modellierten 3D-Raum wird bei Block 706 das Videoprojektionsplatzierungsmodul in dem Inhaltsquellensystem 104 ausgeführt, um basierend auf der Anwendereingabe 636 (6) eine Projektionsfläche innerhalb des modellierten 3D-Raums zu identifizieren, auf der der 2D-Videoinhalt präsentiert oder auf andere Weise projiziert werden kann. Um das zu veranschaulichen, kann der Inhaltsanbieter die Koordinaten der Ecken eines ebenen Bereichs innerhalb des modellierten 3D-Raums spezifizieren, um als die Projektionsfläche zu dienen.
Bei Block 708 kombiniert das Videoprojektionsplatzierungsmodul 630 die Daten, die das 3D-Modell 634 repräsentieren, und die Daten, die die ausgewählte Projektionsfläche repräsentieren (das heißt die Projektionsortsinformationen 118, 1), um die 3D-Modell-Metadaten 116 zu erzeugen, und stellt die 3D-Modell-Metadaten 116 für die Netzschnittstelle 608 zum Übertragen zu dem Multimedia-Server 102 zur nachfolgenden Verteilung in Zuordnung zu den entsprechenden 2D-Videodaten 114 bereit. In einigen Ausführungsformen stellt das Videoprojektionsplatzierungsmodul 630 die 3D-Modell-Metadaten 116 als Teil der 2D-Videodaten 114 bereit, wie z. B. durch Einbetten der 3D-Videodaten 114 in Metadaten-Felder des Containers für die 2D-Videodaten 114 oder durch direktes Codieren der 3D-Videodaten 114 in Pixel von Bildern der 2D-Videodaten 114. Alternativ können die 3D-Modell-Metadaten 116 als eine getrennte Datei oder ein anderer Datencontainer bereitgestellt sein, und die 2D-Videodaten 114 können einen ID oder eine andere Referenz auf die 3D-Modell-Metadaten 116 enthalten, so dass der Multimedia-Server 102 die 3D-Modell-Metadaten 116 als den 2D-Videodaten 114 zugeordnet identifizieren kann, und umgekehrt. In noch anderen Ausführungsformen können die 3D-Modell-Metadaten 116 dem Inhaltsanbieter zugeordnet sein und somit für alle 3D-anzeigefähigen Videoclips, die durch den Inhaltsanbieter bereitgestellt sind, gelten. Um das zu veranschaulichen, wieder unter Verwendung des vorstehenden YouTube(TM)-Beispiels, kann der Inhaltsanbieter das Wohnzimmer, in dem der Inhaltsanbieter Videospiele spielt, modellieren, und jeder Videospielclip, der durch den Inhaltsanbieter hochgeladen wird, kann standardmäßig für projizierte 3D-Anzeige innerhalb dieses modellierten Wohnzimmers auf der Basis, dass der Videoclip von diesem speziellen Inhaltsanbieter stammt, verfügbar sein.
8 stellt eine Beispielimplementierung des 2D/3D-Anzeigesystems 106 des Multimediaverteilungssystems 100 von 1 in Übereinstimmung mit wenigstens einer Ausführungsform dar. In dem abgebildeten Beispiel enthält das System 106 wenigstens einen Anwendungsprozessor 802, wenigstens eine Grafikverarbeitungseinheit (GPU) 804, den Systemspeicher 806 oder eine andere Speicherkomponente, eine Netzschnittstelle 808, um sich mit dem Netz 108 zu koppeln (1), eine Anzeigesteuereinheit 810, eine Anzeigetafel 812 und die VR/AR-Anzeigevorrichtung 112, die in der abgebildeten Ausführungsform ein HMD 814 und eine HMD-Steuereinheit 816 enthält. Der Systemspeicher 806 speichert eine oder mehrere Softwareanwendungen, die die Funktionalität des 2D/3D-Anzeigesystems 106 unterstützen, wie hier beschrieben, wie z. B. eine Hauptanzeigesoftware 818, die die eine oder mehreren Softwareanwendungen repräsentiert, die arbeiten, um das 2D/3D-Anzeigesystem 106 zu manipulieren, um eine oder mehrere GUIs anzuzeigen, um die Anzeige einer Liste, einer Matrix oder einer anderen Auflistung von 2D-Videoströmen zu ermöglichen, die zur Auswahl durch den Anwender verfügbar sind (z. B. über eine Webseite, die auf einem Webbrowser angezeigt ist), um den Zugriff auf die 2D-Videodaten 114, die einem Videostrom entsprechen, der durch den Anwender von dem Multimedia-Server 102 ausgewählt ist, und die 2D-Anzeige des Videoinhalts, der durch die 2D-Videodaten 114 ist, in dem Fall, dass der 2D-Ansichtsmodus für den ausgewählten 2D-Videostrom ausgewählt ist, zu ermöglichen. Zu diesem Zweck kann die Hauptanzeigesoftware 818 beispielsweise ein Wiedergabemodul 820 enthalten, um die 2D-Videodaten 114 zu decodieren und die decodierten Daten in eine Reihe von Bildern wiederzugeben, die den Videoinhalt der 2D-Videodaten 114 repräsentieren, wie nachstehend im Einzelnen beschrieben.
Die Softwareanwendungen, die durch den Systemspeicher 806 gespeichert sind, enthalten ferner eine oder mehrere VR-Softwareanwendungen 822, die arbeiten, um das 2D/3D-Anzeigesystem 106 zu manipulieren, um parallele stereoskopische Bilderströme zur Anzeige von VR- oder AR-Inhalt in dem HMD 814 über die HMD-Steuereinheit 816 wiederzugeben, und wobei in dem Fall, wenn der Anwender wählt, den Videoinhalt in dem 3D-Ansichtsmodus zu betrachten, die eine oder mehreren VR-Softwareanwendungen ferner arbeiten, um die Anzeige des Videoinhalts in dem 3D-Ansichtsmodus zu unterstützen. Zu diesem Zweck enthalten die eine oder die mehreren Softwareanwendungen 822 ein 3D-Modell-Extraktions/Anzeige-Modul 824 und ein 2D-Videoprojektionsmodul 826. Der Betrieb der Module 824, 826 ist nachstehend mit mehr Einzelheiten beschrieben.
9 stellt ein Beispielverfahren 900 der Operation zur Implementierung des 2D/3D-Anzeigesystems 106 von 8 in Übereinstimmung mit wenigstens einer Ausführungsform der vorliegenden Offenbarung dar. Das Verfahren 900 startet bei Block 902 mit dem Auswählen durch den Anwender eines 3Danzeigefähigen 2D-Videostroms zur Präsentation in dem 2D/3D-Anzeigesystem 106 und Empfangen der 2D-Videodaten 114 für den ausgewählten 2D-Videostrom in Reaktion auf diese Auswahl. Um das zu veranschaulichen kann der Anwender eine Webseite für gemeinsame Verwendung von Videos durchsuchen und den Videostrom aus mehreren Videoströmen, die als Optionen präsentiert sind, auswählen. In Reaktion auf diese Auswahl sendet die Hauptanzeigesoftwareanwendung 818 eine Anforderung für die entsprechenden 2D-Videodaten 114 zu dem Multimedia-Server 102 über die Netzschnittstelle 808. Der Multimedia-Server 102 sendet als Reaktion darauf die 2D-Videodaten 114 zurück zu dem 2D/3D-Anzeigesystem 106, wo sie zur Verarbeitung gepuffert werden.
Bei Block 904 bestimmt die Hauptanzeigesoftwareanwendung 818, ob der ausgewählte Videostrom zur 3D-Anzeige fähig ist, und falls ja, präsentiert dem Anwender die Option, den ausgewählten Videostrom in einem Flachbildschirmmodus (das heißt dem herkömmlichen 2D-Ansichtsmodus) oder einem VR-Modus (das heißt dem hier beschriebenen 3D-Ansichtsmodus) zu betrachten. Die Hauptanzeigesoftwareanwendung 818 kann diese Bestimmung beispielsweise basierend auf einem Feld oder Wert, das/der in den 2D-Videodaten 114 selbst gespeichert ist, basierend auf dem Vorhandensein oder Fehlen von 3D-Modell-Metadaten 116, die den 2D-Videodaten 114 zugeordnet sind, basierend auf der Quelle oder dem Inhaltsanbieter der 2D-Videodaten 114 und dergleichen vornehmen. Wie vorstehend beschrieben kann die Option, den Videoinhalt in entweder dem 2D-Ansichtsmodus oder dem 3D-Ansichtsmodus zu betrachten, beispielsweise als ein Anwendereingabefeld oder ein anderes GUI-Widget innerhalb der GUI einer Webseite für gemeinsame Verwendung von Videos oder einer anderen Softwareanwendung, die als die Quelle des ausgewählten 2D-Videostroms dient, präsentiert werden.
In dem Fall, wenn der Anwender den Flachbildschirmmodus auswählt, decodiert bei Block 906 der Anwendungsprozessor 802 und/oder die GPU 804 die 2D-Videodaten 114 und gibt eine Folge von Bildern, die durch die resultierenden decodierten Videodaten repräsentiert sind, wieder, und jedes Bild wird zur Anzeige in einem entsprechenden Anzeigefenster (z. B. dem Anzeigefenster 302 von 3) in der Anzeigetafel 812 über die Anzeigesteuereinheit 810 in Übereinstimmung mit dem herkömmlichen 2D-Anzeigeprozess präsentiert.
Zurück zu Block 904 greift in dem Fall, wenn der Anwender den 3D-Ansichtsmodus für den ausgewählten Videostrom auswählt, bei Block 908 das 3D-Modell-Extraktions/Anzeige-Modul 824 auf die 3D-Modell-Metadaten 116, die dem ausgewählten Videostrom zugeordnet sind, zu. Wie vorstehend erläutert sind in einigen Ausführungsformen die 3D-Modell-Metadaten 116 als Metadaten in den 2D-Videodaten 114 eingebettet oder innerhalb der Pixeldaten selbst codiert, wobei in diesem Fall das 3D-Modell-Extraktions/Anzeige-Modul 824 dadurch auf die 3D-Modell-Metadaten 116 zugreifen kann, dass es sie aus den 2D-Videodaten 114 extrahiert. In anderen Ausführungsformen sind die 3D-Modell-Metadaten 116 getrennt von den 2D-Videodaten 114 unter Berücksichtigung der Bandbreite, Kompatibilität oder Flexibilität verfügbar gemacht und ermöglichen so Rückwärtskompatibilität durch Erlauben, dass die 2D-Videodaten 114 auf einem herkömmlichen 2D-basierten Anzeigesystem (das die 3D-Modell-Metadaten 116 unberücksichtigt lassen kann) betrachtet werden, oder Erlauben, dass die 2D-Videodaten in dem 3D-Modus durch ein 3D-fähiges Anzeigesystem unter Verwendung der getrennt verfügbaren 3D-Modell-Metadaten 116 betrachtet werden. Um das zu veranschaulichen können die 3D-Modell-Metadaten 116 als eine getrennte Datei gespeichert sein, die über einen HTML-Link oder einen anderen ID eines entfernten Speicherorts durch die 2D-Videodaten 114 referenziert wird. In solchen Fällen kann das 3D-Modell-Extraktions/Anzeige-Modul 824 auf die 3D-Modell-Metadaten 116 unter Verwendung des ID des entfernten Speicherorts zugreifen, um die 3D-Modell-Metadaten 116 von dem Multimedia-Server 102 anzufordern. In noch anderen Ausführungsformen können die 3D-Modell-Metadaten 116 im Voraus in dem 2D/3D-Anzeigesystem 106 gespeichert worden sein. Um das zu veranschaulichen, kann der Inhaltsanbieter denselben modellierten 3D-Raum für alle 2D-Videoströme, die durch den Inhaltsanbieter bereitgestellt sind, verwenden, und somit können, wenn ein Anwender einen 2D-Videostrom betrachtet, die 3D-Modell-Metadaten 116, die den modellierten 3D-Raum repräsentieren, heruntergeladen und in dem 2D/3D-Anzeigesystem 106 gespeichert werden zum Gebrauch sowohl mit dem aktuellen 2D-Videostrom als auch mit jedem 2D-Videostrom von demselben Inhaltsanbieter, auf den nachfolgend zugegriffen wird. In solchen Fällen kann das Zugreifen auf die 3D-Modell-Metadaten 116 das Identifizieren, dass eine Kopie der 3D-Modell-Metadaten 116 bereits in einem lokalen Speicherort gespeichert ist (z. B. einer lokalen Festplatte), und das Zugreifen auf die 3D-Modell-Metadaten 116 aus dem identifizierten lokalen Speicherort enthalten.
Es wird darauf hingewiesen, dass die VR/AR-Anzeigevorrichtung 112 eine Bildwiederholrate aufweist, die die Rate repräsentiert, mit der die HMD-Steuereinheit 816 die Bilder für das linke/rechte Auge zu dem HMD 814 zur Anzeige steuert. In einer Ausführungsform repräsentiert der nachstehend für die Blöcke 910, 912, 914, 916 und 918 beschriebene Prozess, der für jedes Paar stereoskopischer Anzeigebilder, das für das HMD 814 zur Anzeige bereitgestellt werden soll, ausgeführt wird, und somit werden Iterationen dieses Prozesses mit einer Bildwiederholrate der VR/AR-Anzeigevorrichtung 112 ausgeführt. Ferner ist im Folgenden angenommen, dass die Bildwiederholrate des ausgewählten Videostroms gleich der Bildwiederholrate der VR/AR-Anzeigevorrichtung 112 ist. Falls jedoch die Bildwiederholrate des ausgewählten Videostroms niedriger ist, kann dasselbe Bild aus dem ausgewählten Videostrom für zwei oder mehr Anzeigerahmen für die VR/AR-Anzeigevorrichtung 112 benutzt werden. Alternativ kann, falls die Bildwiederholrate für den ausgewählten Videostrom höher ist, selektives Auslassen von Bildern aus dem Videostrom eingesetzt werden, um einen effektiven Abgleich zwischen den Bildwiederholraten zu erreichen.
Bei Block 910 decodiert das Wiedergabemodul 820 einen Abschnitt der 2D-Videodaten 114, gibt ein Bild 828 aus den resultierenden decodierten Daten wieder und stellt das Bild 828 für das 2D-Videoprojektionsmodul 826 bereit. Parallel bestimmt bei Block 912 der Prozessor 802 eine aktuelle 6DoF- oder 3DoF-Haltung 830 (8) des HMD 814 basierend auf Sensorinformationen aus einer IMU (nicht gezeigt) des HMD 814, basierend auf räumlichen Merkmalen, die in Bildern detektiert werden, die durch Bildaufnahmekameras (nicht gezeigt) des HMD 814 aufgenommen sind, und dergleichen unter Verwendung einer Vielzahl von bekannten HMD-Haltungsbestimmungstechniken.
Bei Block 914 verwendet das 3D-Modell-Extraktions/Anzeige-Modul 824 das 3D-Modell eines Raums, das durch die 3D-Modell-Metadaten 116 repräsentiert ist, und die aktuelle Haltung 830, um ein stereoskopisches Paar aus Bildern 831, 832 (jeweils ein Bild für das linke und das rechte Auge des Anwenders) wiederzugeben, das eine 3D-Ansicht des Raums aus der aktuellen Haltung 830 repräsentiert, und schreibt das Paar aus Bildern 831, 832 in einen Rahmenpuffer 834 zum temporären Speichern. Gleichzeitig verwendet bei Block 916 das Videoprojektionsmodul 826 die aktuelle Haltung 830 und die Projektionsfläche, die durch die Projektionsortsinformationen 118 repräsentiert ist, die aus den 3D-Modell-Metadaten extrahiert sind, um das wiedergegebene Bild 828 aus der flachen 2D-Koordinatenreferenz zu transformieren, um zu der Projektionsfläche in der Koordinatenreferenz des modellierten 3D-Raums in Bezug auf die aktuelle Haltung 830 zu passen, was zu einem Paar transformierter Bildtexturen 835, 836 führt, jeweils eine für das linke und das rechte Auge. Die transformierten Bildtexturen 835, 836 werden dann in den Rahmenpuffer 834 geschrieben und gespeichert, so dass die transformierte Bildtextur 835 einen Bereich des Bilds 831 verdeckt, der der Position der Projektionsfläche in dem Bild 831 entspricht, und die transformierte Bildtextur 836 ähnlich einen Bereich des Bilds 832 verdeckt, der der Position der Projektionsfläche in dem Bild 832 entspricht. Bei Block 918 greift die HMD-Steuereinheit 816 auf den Rahmenpuffer 834 zu und überträgt die resultierenden endgültigen Anzeigebilder 837, 838 zu dem HMD 814 zum gleichzeitigen Anzeigen, um durch den Anwender als 3D-Bildinhalt wahrgenommen zu werden, der das 2D-Bild 828 aus den 2D-Videodaten 114 so erscheinen lässt, dass es aus einer festgelegten Fläche innerhalb des Raums, der in dem 3D-Bildinhalt repräsentiert ist, projiziert wird. Der Prozess der Blöcke 910–918 kann sich dann für das nächste Bild aus den 2D-Videodaten 114 und eine aktualisierte Haltung 830 wiederholen.
In einigen Ausführungsformen können spezielle Aspekte der vorstehend beschriebenen Techniken durch einen oder mehrere Prozessoren eines Software ausführenden Verarbeitungssystems implementiert sein. Die Software umfasst eine oder mehrere Gruppen ausführbarer Anweisungen, die in einem nichtflüchtigen computerlesbaren Speichermedium gespeichert oder auf andere Weise materiell integriert sind. Die Software kann die Anweisungen und spezielle Daten enthalten, die dann, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren manipulieren, einen oder mehrere Aspekte der vorstehend beschriebenen Techniken auszuführen. Das nichtflüchtige computerlesbare Speichermedium kann beispielsweise eine Speichervorrichtung mit magnetischer oder optischer Platte, Feststoffspeichervorrichtungen wie z. B. Flash-Speicher, einen Cache, Direktzugriffsspeicher (RAM) oder eine andere nichtflüchtige Speichervorrichtung oder Vorrichtungen und dergleichen enthalten. Die ausführbaren Anweisungen, die auf dem nichtflüchtigen computerlesbaren Speichermedium gespeichert sind, können Quellcode, Assemblierungssprachencode, Objektcode oder ein anderes Anweisungsformat sein, das durch einen oder mehreren Prozessoren interpretiert wird oder auf andere Weise ausführbar ist.
Ein computerlesbares Speichermedium kann irgendein Speichermedium oder eine Kombination aus Speichermedien enthalten, auf die während des Gebrauchs durch ein Computersystem zugegriffen werden kann, um Anweisungen und/oder Daten für das Computersystem bereitzustellen. Solche Speichermedien können optische Medien (z. B. Compact-Disc (CD), Digital Versatile Disc (DVD), Blu-Ray-Disc), magnetische Medien (z. B. Diskette, Magnetband oder magnetische Festplatte), flüchtigen Speicher (z. B. Direktzugriffsspeicher (RAM) oder Cache), nichtflüchtigen Speicher (z. B. Festwertspeicher (ROM) oder Flash-Speicher) oder auf mikroelektromechanischen Systemen (MEMS) basierende Speichermedien enthalten, sind jedoch nicht darauf beschränkt. Das computerlesbare Speichermedium kann in das Computersystem eingebettet (z. B. System-RAM oder ROM), an dem Computersystem fest angebracht (z. B. magnetische Festplatte), abnehmbar an dem Computersystem angebracht (z. B. eine optische Platte oder ein auf dem universellen seriellen Bus (USB) basierender Flash-Speicher) oder mit dem Computersystem über ein drahtgebundenes oder drahtloses Netz (z. B. netzzugreifbarer Speicher (NAS)) gekoppelt sein.
Es wird darauf hingewiesen, dass nicht alle Aktivitäten oder Elemente, die vorstehend in der allgemeinen Beschreibung beschrieben sind, erforderlich sind, dass ein Abschnitt einer spezifischen Aktivität oder Vorrichtung nicht erforderlich sein kann und dass eine oder mehrere weitere Aktivitäten ausgeführt werden können oder Elemente enthalten sein können zusätzlich zu den beschriebenen. Weiterhin ist die Reihenfolge, in der die Aktivitäten aufgelistet sind, nicht notwendigerweise die Reihenfolge, in der sie ausgeführt werden. Außerdem sind die Konzepte mit Bezug auf spezifische Ausführungsformen beschrieben worden. Ein normaler Fachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne von dem Schutzbereich der vorliegenden Offenbarung, wie er in den nachstehenden Ansprüchen dargelegt ist, abzuweichen. Dementsprechend sind die Spezifikation und die Figuren eher in einem erläuternden als einem einschränkenden Sinn zu verstehen, und alle solche Modifikationen sollen in dem Schutzbereich der vorliegenden Offenbarung enthalten sein.
Nutzen, andere Vorteile und Problemlösungen sind vorstehend mit Bezug auf spezifische Ausführungsformen beschrieben worden. Der Nutzen, die Vorteile und Problemlösungen und irgendein/irgendwelche Merkmal(e), die bewirken können, dass irgendein/e Nutzen, Vorteil oder Lösung auftreten oder deutlicher werden, sind nicht als kritische, erforderliche oder wesentliche Merkmale irgendeines der oder aller Ansprüche zu deuten. Außerdem sind die vorstehend offenbarten speziellen Ausführungsformen nur anschaulich, da der offenbarte Gegenstand modifiziert und auf unterschiedliche jedoch äquivalente Arten, die für Fachleute, die den Nutzen aus den hier dargestellten Lehren ziehen, offensichtlich sind, praktiziert werden kann. Es sind keine Einschränkungen für die Einzelheiten der/des hier gezeigten Konstruktion oder Design beabsichtigt, außer denen, die in den nachstehenden Ansprüchen beschrieben sind. Es ist deshalb offenkundig, dass die vorstehend offenbarten speziellen Ausführungsformen verändert oder modifiziert werden können, und alle solche Variationen als in dem Schutzbereich des offenbarten Gegenstands betrachtet werden. Dementsprechend ist der hier angestrebte Schutz in den nachstehenden Ansprüchen dargelegt.

Claims

Verfahren in einem Anzeigesystem mit einem Head-Mounted Display (HMD), das Folgendes umfasst: Empfangen von Videodaten, die 2D-Videoinhalt repräsentieren; Empfangen von Modelldaten, die einen modellierten dreidimensionalen Raum (3D-Raum) repräsentieren und eine Fläche innerhalb des modellierten 3D-Raum repräsentieren, auf den der 2D-Videoinhalt projiziert werden soll; Bestimmen in dem Anzeigesystem, ob ein 2D-Ansichtsmodus oder ein 3D-Ansichtsmodus ausgewählt ist; und in Reaktion auf das Bestimmen, dass der 3D-Ansichtsmodus ausgewählt ist: Bestimmen einer aktuellen Haltung des HMD; und Bereitstellen über das HMD der Anzeige einer Ansicht des modellierten 3D-Raums basierend auf der aktuellen Haltung, wobei die Ansicht des modellierten 3D-Raums eine Projektion des 2D-Videoinhalts auf die Fläche basierend auf der aktuellen Haltung enthält.
Verfahren nach Anspruch 1, das ferner umfasst: in Reaktion auf das Bestimmen, dass der 2D-Ansichtsmodus ausgewählt ist, Bereitstellen einer 2D-Anzeige des 2D-Videoinhalts über eine Anzeigetafel des Anzeigesystems.
Verfahren nach Anspruch 1 oder 2, wobei: das Empfangen der Modelldaten das Empfangen der Modelldaten als Metadaten in den Videodaten umfasst.
Verfahren nach Anspruch 1 oder 2, wobei: das Empfangen der Modelldaten umfasst: Empfangen zusammen mit den Videodaten eines Bezeichners eines entfernten Speicherorts der Modelldaten; und Zugreifen auf die Modelldaten aus dem entfernten Speicherort unter Verwendung des Bezeichners.
Verfahren nach Anspruch 1 oder 2, wobei: das Empfangen der Modelldaten umfasst: Empfangen zusammen mit den Videodaten eines Bezeichners, der den Modelldaten zugeordnet ist; und Zugreifen auf die Modelldaten aus einem lokalen Datenspeicherort des Anzeigesystems basierend auf dem Bezeichner.
Verfahren nach einem der vorhergehenden Ansprüche, das ferner umfasst: Präsentieren für einen Anwender über das Anzeigesystem einer Option, den 2D-Videoinhalt entweder in dem 2D-Ansichtsmodus oder in dem 3D-Ansichtsmodus zu betrachten; und wobei das Bestimmen, ob der 2D-Ansichtsmodus oder der 3D-Ansichtsmodus ausgewählt ist, das Bestimmen, ob der 2D-Ansichtsmodus oder der 3D-Ansichtsmodus ausgewählt ist, basierend auf einer Anwendereingabe in Reaktion auf das Präsentieren der Option umfasst.
Anzeigesystem, das Folgendes umfasst: ein Head-Mounted-Device (HMD); wenigstens einen Prozessor, der mit dem HMD gekoppelt ist; und eine Speicherkomponente, die mit dem wenigstens einen Prozessor gekoppelt ist, wobei die Speicherkomponente dazu dient, eine Gruppe ausführbarer Anweisungen, auf die der wenigstens eine Prozessor zugreifen kann, zu speichern, wobei die Gruppe ausführbarer Anweisungen konfiguriert ist, den wenigstens einen Prozessor zu manipulieren zum: Empfangen von Videodaten, die 2D-Videoinhalt repräsentieren; Empfangen von Modelldaten, die einen modellierten dreidimensionalen Raum (3D-Raum) repräsentieren und eine Fläche innerhalb des modellierten 3D-Raum repräsentieren, auf die der 2D-Videoinhalt projiziert werden soll; Bestimmen, ob ein 2D-Ansichtsmodus oder ein 3D-Ansichtsmodus ausgewählt ist; und in Reaktion auf das Bestimmen, dass der 3D-Ansichtsmodus ausgewählt ist: Bestimmen einer aktuellen Haltung des HMD; und Bereitstellen für das HMD der Anzeige einer Ansicht des modellierten 3D-Raums basierend auf der aktuellen Haltung, wobei die Ansicht des modellierten 3D-Raums eine Projektion des 2D-Videoinhalts auf die Fläche basierend auf der aktuellen Haltung enthält.
Anzeigesystem nach Anspruch 7, wobei die Gruppe ausführbarer Anweisungen ferner konfiguriert ist, den wenigstens einen Prozessor zu manipulieren, damit er: in Reaktion auf das Bestimmen, dass der 2D-Ansichtsmodus ausgewählt ist, den 2D-Videoinhalt über eine Anzeigetafel des Anzeigesystems einer 2D-Anzeige bereitstellt.
Anzeigesystem nach Anspruch 7 oder Anspruch 8, wobei: das Anzeigesystem konfiguriert ist, die Modelldaten als Metadaten in den Videodaten zu empfangen.
Anzeigesystem nach Anspruch 7 oder Anspruch 8, wobei: das Anzeigesystem konfiguriert ist, zusammen mit den Videodaten einen Bezeichner eines entfernten Speicherorts der Modelldaten zu empfangen; und die Anweisungen, den wenigstens einen Prozessor zum Empfangen der Modelldaten zu manipulieren, Anweisungen umfassen, den wenigstens einen Prozessor zu manipulieren, auf die Modelldaten aus dem entfernten Speicherort unter Verwendung des Bezeichners zuzugreifen.
Anzeigesystem nach Anspruch 7 oder Anspruch 8, wobei: die Anweisungen, den wenigstens einen Prozessor zu manipulieren, die Modelldaten zu empfangen, Anweisungen umfassen, den wenigstens einen Prozessor zu manipulieren zum: Empfangen zusammen mit den Videodaten eines Bezeichners, der den Modelldaten zugeordnet ist; und Zugreifen auf die Modelldaten aus einem lokalen Datenspeicherort des Anzeigesystems basierend auf dem Bezeichner.
Anzeigesystem nach einem der Ansprüche 7 bis 11, wobei die Gruppe ausführbarer Anweisungen ferner Anweisungen enthält, um den wenigstens einen Prozessor zu manipulieren zum: Präsentieren für einen Anwender über das Anzeigesystem einer Option, den 2D-Videoinhalt entweder in dem 2D-Ansichtsmodus oder in dem 3D-Ansichtsmodus zu betrachten; und Bestimmen, ob der 2D-Ansichtsmodus oder der 3D-Ansichtsmodus ausgewählt ist, basierend auf einer Anwendereingabe in Reaktion auf das Präsentieren der Option.
Verfahren in einer Verarbeitungsvorrichtung, das Folgendes umfasst: Bestimmen eines dreidimensionalen Modells (3D-Modells) eines Raums; Identifizieren einer Fläche in dem 3D-Modell des Raums, auf die zweidimensionaler Videoinhalt (2D-Videoinhalt) projiziert werden soll; und Bereitstellen von Videodaten, die den 2D-Videoinhalt repräsentieren, und von Modelldaten, die das 3D-Modell des Raums repräsentieren, zum Speichern, damit sie für nachfolgenden Zugriff durch ein Anzeigesystem verfügbar sind.
Verfahren nach Anspruch 13, wobei: der Raum einen realen Raum umfasst; und das Bestimmen des 3D-Modells des Raums umfasst: Aufnehmen von Bildern und Raummerkmalen des realen Raums unter Verwendung einer Gruppe aus einem oder mehreren Sensoren der Verarbeitungsvorrichtung, wobei die Gruppe aus einem oder mehreren Sensoren eine Bildaufnahmekamera und/oder einen Tiefensensor umfasst; und Erzeugen des 3D-Modells des Raums basierend auf den aufgenommenen Bildern und Raummerkmalen.
Verfahren nach Anspruch 13, wobei: das Bestimmen des 3D-Modells des Raums Konstruieren des 3D-Modells unter Verwendung eines Werkzeugs zum Modellieren von virtueller Realität in der Verarbeitungsvorrichtung umfasst.
Verfahren nach einem der Ansprüche 13 bis 15, wobei: das Bereitstellen der Videodaten und Modelldaten zum Speichern das Bereitstellen der Videodaten und Modelldaten zum Speichern in einem Multimedia-Server umfasst.
Verfahren nach Anspruch 16, wobei: das Bereitstellen der Videodaten und Modelldaten zum Speichern in dem Multimedia-Server das Bereitstellen der Videodaten als einen Videostrom und das Bereitstellen der Modelldaten als Metadaten in dem Videostrom umfasst.
Verfahren nach Anspruch 16, wobei: das Bereitstellen der Videodaten und Modelldaten zum Speichern in dem Multimedia-Server das Bereitstellen der Videodaten als einen Videostrom und das Bereitstellen eines Bezeichners, der den Modelldaten zugeordnet ist, in dem Videostrom umfasst, wobei der Bezeichner einen Bezeichner eines Speicherorts der Modelldaten in dem Multimedia-Server und/oder einen Bezeichner der Modelldaten für den Gebrauch beim Zugreifen auf eine lokale Kopie der Modelldaten, die in dem Anzeigesystem gespeichert ist umfasst.
Verarbeitungsvorrichtung, die Folgendes umfasst: wenigstens einen Prozessor; und eine Speicherkomponente, die mit dem wenigstens einen Prozessor gekoppelt ist, wobei die Speicherkomponente dazu dient, eine Gruppe ausführbarer Anweisungen zu speichern, wobei die Gruppe ausführbarer Anweisungen dazu dient, den wenigstens einen Prozessor zu manipulieren zum: Bestimmen eines dreidimensionalen Modells (3D-Modells) eines Raums; Identifizieren einer Fläche in dem 3D-Modell des Raums, auf die zweidimensionaler Videoinhalt (2D-Videoinhalt) projiziert werden soll; und Bereitstellen von Videodaten, die den 2D-Videoinhalt repräsentieren, und von Modelldaten, die das 3D-Modell des Raums repräsentieren, zum Speichern, damit sie für nachfolgenden Zugriff durch ein Anzeigesystem verfügbar sind.
Verarbeitungsvorrichtung nach Anspruch 19, die ferner umfasst: eine Gruppe aus einem oder mehreren Sensoren, wobei die Gruppe aus einem oder mehreren Sensoren eine Bildaufnahmekamera und/oder einen Tiefensensor umfasst; wobei der Raum einen realen Raum umfasst; und wobei die Anweisungen, den wenigstens einen Prozessor zu manipulieren, das 3D-Modell das Raums zu bestimmen, Anweisungen umfassen, den wenigstens eine Prozessor zu manipulieren zum: Aufnehmen von Bildern und Identifizieren von Raummerkmalen des realen Raums unter Verwendung der Gruppe aus einem oder mehreren Sensoren; und Erzeugen des 3D-Modells des Raums basierend auf den aufgenommenen Bildern und Raummerkmalen.
Verarbeitungsvorrichtung nach Anspruch 19, wobei: der Raum ein virtueller Raum ist; und die Anweisungen zum Manipulieren des wenigstens einen Prozessors, um das 3D-Modell des Raums zu bestimmen, Anweisungen zum Manipulieren des wenigstens einen Prozessors umfassen, das 3D-Modell über ein Modellieren virtueller Realität zu konstruieren.
Verarbeitungsvorrichtung nach einem der Ansprüche 19 bis 21, die ferner umfasst: eine Netzschnittstelle zum Koppeln an ein Netz; und wobei die Verarbeitungsvorrichtung dazu dient, die Videodaten und Modelldaten zum Speichern in einem Multimedia-Server über das Netz bereitzustellen.
Verarbeitungsvorrichtung nach Anspruch 22, wobei: die Verarbeitungsvorrichtung dazu dient, Videodaten zum Speichern in dem Multimedia-Server als eine Video-Streamingdatei bereitzustellen und die Modelldaten als Metadaten in der Video-Streamingdatei bereitzustellen.
Verarbeitungsvorrichtung nach Anspruch 22, wobei: die Verarbeitungsvorrichtung dazu dient, die Videodaten als eine Video-Streamingdatei zum Speichern in dem Multimedia-Server bereitzustellen und einen Bezeichner, der den Modelldaten in der Video-Streamingdatei zugeordnet ist, bereitzustellen, wobei der Bezeichner ein Kennzeichen eines Speicherorts der Modelldaten in dem Multimedia-Server und/oder einen Bezeichner der Modelldaten für den Gebrauch beim Zugreifen auf eine lokale Kopie der Modelldaten, die in dem Anzeigesystem gespeichert ist, umfasst.