DE112016004640T5

DE112016004640T5 - Filmische bearbeitung für virtuelle realität und erweiterte realität

Info

Publication number: DE112016004640T5
Application number: DE112016004640.5T
Authority: DE
Inventors: Christopher DeFaria; Gregory Gewickey; Michael Smith; Lewis Ostrover
Original assignee: Warner Bros Entertainment Inc
Current assignee: Warner Bros Entertainment Inc
Priority date: 2015-10-09
Filing date: 2016-10-10
Publication date: 2018-07-19
Also published as: CN108701371B; GB2557791B; CN108701371A; WO2017062957A1; US20200228881A1; GB2557791A; US10924817B2; US10511895B2; GB201804466D0; US20170105052A1; US20210243507A1; US20230336840A1; US11451882B2

Abstract

Ein Entertainmentsystem liefert Daten für einen gemeinsamen Bildschirm (z. B. Kinoleinwand) und persönliche immersive Reality-Vorrichtungen. Zum Beispiel kommuniziert ein Kinodaten-Verteilungsserver mit mehreren immersiven Ausgabevorrichtungen, die jeweils eine immersive Ausgabe (z. B. eine Virtual-Reality-Ausgabe) auf der Grundlage eines Datensignals bereitstellen. Jede der mehreren immersiven Ausgabevorrichtungen befindet sich in Sichtweite eines gemeinsamen Anzeigebildschirms. Der Server konfiguriert das Datensignal auf der Grundlage digitaler Filmstammdaten, die immersive Reality-Daten enthalten. Der Server überträgt das Datensignal zu den mehreren immersiven Ausgabevorrichtungen gleichzeitig und optional gleichzeitig mit der Bereitstellung eines koordinierten Audio-Video-Signals zur Ausgabe über einen gemeinsamen Anzeigebildschirm und ein gemeinsames Audiosystem.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht die Priorität gemäß 35 U.S.C. § 119(e) für die U.S. Teilanmeldung Nr. 62/239,782 , eingereicht am 9. Oktober 2015, die hier in ihrer Gesamtheit enthalten ist.
GEBIET
Die vorliegende Erfindung betrifft die Herstellung, Konfiguration und Bereitstellung, durch einen Computer, von digitalen Daten zur Ausgabe als virtuelle Realität oder erweiterte Realität.
HINTERGRUND
„Virtual Reality“ (virtuelle Realität) ist ein Begriff, der für verschiedene Arten von Inhalten verwendet wird, die ein Eintauchen („immersion“) in eine dreidimensionale (3D-) Welt simulieren, wie zum Beispiel verschiedene Videospielinhalte und Animationsfilminhalte. In einigen Arten von virtueller Realität kann ein Anwender durch eine auf der Grundlage eines Computermodells erzeugten Simulation einer 3D-Umgebung navigieren, indem er die Position und die Orientierung einer virtuellen Kamera steuert, die einen Blickwinkel für eine 2D- Szene definiert, die auf einem zweidimensionalen Anzeigebildschirm angezeigt wird. Eine Variante dieser Technologien wird manchmal als „Augmented Reality“ (erweiterte Realität) bezeichnet. In einem Augmented-Reality-Setup, zeigt die Anzeigetechnologie eine Kombination aus der Umgebung des Anwenders, die um ein oder mehrere digitale Objekte oder Overlays „augmented“ (erweitert) ist. Augmented-Reality-Inhalte können ebenso einfach wie textuelle „Head-up“-Informationen über Objekte und Menschen sein, die um den Anwender herum sichtbar sind, oder so komplex wie die Umwandlung des gesamten Erscheinungsbilds der Umgebung des Anwenders in eine Fantasieumgebung, die der realen Umgebung des Anwenders entspricht.
Virtual Reality (VR) und Augmented Reality (AR) sind auf verschiedene Arten von immersiven, stereoskopischen Videodarstellungstechniken wie zum Beispiel stereoskopische Virtual-Reality-Headsets angewendet worden. Headsets und andere Präsentationsverfahren tauchen den Anwender in eine 3D-Szene ein. Linsen in dem Headset ermöglichen es dem Anwender auf einen leichten, geteilten Bildschirm zu fokussieren, der in dem Headset nur wenige Zentimeter von den Augen des Anwenders angebracht ist. Die verschiedenen Seiten der geteilten Anzeige zeigen eine rechte bzw. linke stereoskopische Ansicht von Videoinhalten, während die periphere Sicht des Anwenders blockiert ist. In einer anderen Form eines Headsets werden zwei separate Anzeigen verwendet, um dem linken bzw. rechten Auge des Anwenders unterschiedliche Bilder zu präsentieren. In einer anderen Form eines Headsets enthält das Sichtfeld der Anzeige das gesamte Sichtfeld des Auges, einschließlich des peripheren Sichtfelds. In einer anderen Form eines Headsets wird ein Bild mit Hilfe von steuerbaren kleinen Lasern, Spiegeln oder Linsen auf die Retina des Anwender projiziert. In jedem Fall ermöglicht das Headset dem Anwender, die angezeigten Virtual-Reality-Inhalte so zu erleben, als ob der Zuschauer sich in einer realen Szene befände. Im Falle von Augmented-Reality (AR) - Inhalten kann der Zuschauer die erweiterten Inhalte so erleben, als wäre er ein Teil einer erweiterten realen Szene oder befände sich darin.
Diese immersiven Effekte können durch Bewegungssensoren in dem Headset bereitgestellt oder verstärkt werden, die Bewegungen des Kopfes des Anwenders erfassen und die Video-Anzeige(n) entsprechend einstellen. Indem er seinen Kopf zur Seite dreht, kann der Anwender die seitliche Virtual-Reality-Szene sehen; indem er seinen Kopf hebt oder senkt, kann der Anwender in der Virtual-Reality-Szene nach oben und nach unten blicken. Das Headset kann auch Tracking-Sensoren umfassen, die die Position des Kopfes und/oder Körpers des Anwenders erfassen und die Video-Anzeige(n) entsprechend einstellen. Durch Lernen oder Drehen kann der Anwender die Virtual-Reality-Szene aus unterschiedlichen Blickwinkeln sehen. Dieses Ansprechverhalten auf Kopfbewegung, Kopfposition und Körperposition verstärkt den durch das Headset erreichbaren immersiven Effekt deutlich. Dem Anwender kann der Eindruck vermittelt werden, sich in der Virtual-Reality-Szene zu befinden oder darin „eingetaucht“ zu sein. In der Verwendung hier umfasst „immersiv“ allgemein sowohl VR als auch AR.
Immersive Headsets und andere tragbare immersive Ausgabevorrichtungen sind besonders nützlich für Spiele verschiedener Art, bei denen ein Anwender eine modellierten Umgebung erkundet, die von einer Rendering-Engine erzeugt wird, wenn der Anwender eine oder mehrere virtuelle Kamera(s) mittels Kopfbewegung, Position oder Orientierung des Körpers, des Kopfes, der Finger, der Füße oder anderer Körperteile und/oder anderer Eingaben steuert. Um ein immersives Erlebnis zu ermöglichen, muss der Anwender wahrnehmen, dass er sich bewegen kann, was in gewisser Weise analog zur menschlichen visuellen Wahrnehmung ist, wenn er mit der Realität interagiert. Für VR produzierte Inhalte können diese Erfahrung mit Techniken für Echtzeit-Rendering bieten, die für verschiedene Arten von Videospielen entwickelt wurden. Diese Inhalte können als dreidimensionales Computermodell mit definierten Grenzen und Regeln zum Rendern als Videoausgabe ausgelegt sein. Diese Inhalte können durch stereoskopische Techniken verbessert werden, um eine stereoskopische Ausgabe zu liefern, die manchmal als „3D“ bezeichnet wird und einer VR-Anwendung zugeordnet ist, die den Renderingprozess in Antwort auf eine Bewegung des VR-Headsets steuert, um ein resultierendes VR-Erlebnis zu erzeugen. Das Erlebnis des Anwenders ist dem eines gerenderten Videospiels sehr ähnlich.
In anderen Arten von VR und AR kann die simulierte 3D-Umgebung primär dazu verwendet werden, um eine Geschichte eher wie in einem traditionellem Theater oder Kino zu erzählen. In dieser Art von VR oder AR können die hinzugefügten visuellen Effekte die Tiefe und den Reichtum der Erzählelemente oder Spezialeffekte verbessern, ohne dem Anwender die volle Kontrolle (oder irgendeine Kontrolle) über die Erzählung selbst zu geben. Jedoch befindet sich die Technologie zum Erleben von etwas Ähnlichem wie filmischen Inhalten, die mit VR- oder AR-Geräten und -Verfahrenen realisiert werden, in einem sehr frühen Stadium der Entwicklung. Gegenwärtige Implementierungen von Technologien sind sehr begrenzt, so dass Anwender bislang nur geringe oder keine Berührung mit VR oder AR in ihrem Erleben von erzählerischen Inhalten hatten.
Es ist daher wünschenswert, neue Verfahren und andere neue Technologien zur Beherrschung filmischer Inhalte für die VR- und AR-Nutzung zu entwickeln, die diese und andere Einschränkungen des Standes der Technik überwinden und die Attraktivität und den Genuss erzählerischer Inhalte für neue immersive Technologien wie VR und AR steigern.
KURZDARSTELLUNG
Diese Kurzdarstellung und die nachfolgende ausführliche Beschreibung sind als einander ergänzende Teile einer integrierten Offenbarung zu verstehen, die redundante Gegenstände und/oder ergänzende Gegenstände umfassen können. Wenn ein Element in einem Abschnitt der integrierten Offenbarung beschrieben ist, bedeutet das nicht, dass es keine oder nur untergeordnete Bedeutung hätte. Unterschiede zwischen den Abschnitte können ergänzende Angaben zu alternativen Ausführungsformen, zusätzliche Angaben oder alternative Beschreibungen identischer Ausführungsformen mit unterschiedlicher Terminologie umfassen, wie es aus den jeweiligen Angaben hervorgehen sollte.
Gemäß einem Aspekt der vorliegenden Erfindung umfasst ein computerimplementiertes Verfahren ein Kommunizieren, durch einen Kinodaten-Verteilungsserver, mit mehreren immersiven Ausgabevorrichtungen, die jeweils auf der Grundlage eines Datensignals eine von einer Augmented Reality (AR)-Ausgabe und einer Virtual Reality (VR)-Ausgabe bereitstellen, wobei sich jede der mehreren immersiven Ausgabevorrichtungen in Sichtweite eines Anzeigebildschirms befindet. Zum Beispiel können die mehreren immersiven Ausgabevorrichtungen von Kinogängern oder Heimkinoanwendern getragen werden. Das Verfahren kann ein Konfigurieren des Datensignals auf der Grundlage digitaler Filmstammdaten, die wenigstens eine von VR-Daten und AR-Daten umfassen, zum Beispiel auf Arten, die weiter unten zusammengefasst und an anderer Stelle hierin beschrieben sind. Das Verfahren kann ein Übertragen des Datensignal zu den mehreren immersiven Ausgabevorrichtungen umfassen, so dass jeder der Anwender die Daten empfängt und verarbeitet und ein zeitgleiches, immersives Videoerlebnis teilt.
In einem weiteren Aspekt kann das Verfahren ein Ausgeben eines Bildes auf der Grundlage eines Videodatenbereichs der digitalen Filmstammdaten auf dem Anzeigebildschirm zeitgleich mit der Übertragung umfassen. Die Anwender können dadurch zusätzlich zu dem Video auf dem Bildschirm ein AR-Erlebnis genießen, oder können, wenn sie eine gesamte VR-Ausstattung verwenden, die den Bildschirm verdeckt, eine Kinopräsentation genießen, die die Präsentation auf dem Bildschirm ergänzt und reproduziert.
Um immersive AR-Ausgabevorrichtungen zu bedienen, kann das Konfigurieren des Datensignals ein Verschlüsseln der AR-Daten zur Ergänzung von Videodaten zur Ausgabe auf dem Anzeigebildschirm, und ein Einbeziehen der AR-Daten zusammen mit den Videodaten in dem Datensignal umfassen. Die AR-Daten können für verschiedene Effekte konfiguriert sein. In einem Aspekt dehnen die AR-Daten, wenn sie von den mehreren immersiven Ausgabevorrichtungen empfangen werden, für jede Person, die die AR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, Bilder auf dem Anzeigebildschirm kontinuierlich auf Bereiche jenseits einer äußeren Begrenzung des Anzeigebildschirms aus. Zum Beispiel kann eine Person, die eine immersive AR-Ausgabevorrichtung trägt, Elemente der Szene sehen, die sich nach oben, unten oder seitlich über den Rahmen hinaus erstrecken. In einem weiteren alternativen Aspekt bewirken die AR-Daten, wenn sie von den mehreren immersiven Ausgabevorrichtungen empfangen werden, dass für alle Personen, die die AR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachten, Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in einem Nicht-Bildschirmanzeigenvolumen erscheinen. Zum Beispiel kann erreicht werden, dass der Nicht-Bildschirmobjekt vor, über oder unter dem Bildschirm oder sogar hinter dem Zuschauer erscheint. Diese Effekte können auch durch Konfigurieren von VR-Daten für eine VR-Ausgabevorrichtung erreicht werden.
Das Datensignal kann so konfiguriert werden, dass jedem Anwender ein „objektives“ Erlebnis, ein „subjektives“ Erlebnis oder eine Mischung aus objektiven und subjektiven Erlebnissen angeboten wird. Um ein subjektives Erlebnis anzubieten, konfiguriert der Kinodaten-Verteilungsserver das Datensignal so, dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen (d. h. die Bilder, die nur mit einer AR- oder VR-Ausgabevorrichtung sichtbar sind), in einem Koordinatensystem erscheinen, das relativ zu der jeden Person definiert ist, das die AR- oder VR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet. Um ein objektives Erlebnis anzubieten, konfiguriert der Kinodaten-Verteilungsserver das Datensignal so, dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in dem gleichen Koordinatensystem erscheinen, das relativ zu dem Anzeigebildschirm definiert ist, das heißt ein Koordinatensystem, das relativ zu dem Kino oder Heimkino und für alle immersiven Ausgabevorrichtungen gleich ist. Um ein gemischtes Erlebnis anzubieten, konfiguriert der Kinodaten-Verteilungsserver das Datensignal so, dass wenigstens ein sichtbares Objekt in Bezug auf das subjektive Koordinatensystem jeder Person individuell definiert ist, während wenigstens ein weiteres Objekt in dem gemeinsamen Koordinatensystem definiert und für alle Zuschauer gleich ist.
In einem weiteren Aspekt kann ein Anwender mit Objekten interagieren, die in der AR- oder VR-Ausgabe dargestellt sind. Demzufolge kann das Verfahren ein Bereitstellen des AR- oder VR-Datencodes umfassen, wodurch jede Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, mit wenigstens einem der Bilder interagieren kann, die nicht auf dem Anzeigebildschirm erscheinen, wodurch eine Änderung der immersive Ausgabe bewirkt wird. In einem verwandten Aspekt kann das Verfahren ein Ändern einer Videoausgabe, die auf dem Anzeigebildschirm gezeigt wird, auf der Grundlage der Interaktion der jeden Person mit wenigstens einem der Bilder umfassen. Zum Beispiel können unterschiedliche Versionen einer Szene in gespeicherten Kinodaten bereitgestellt werden, und die zur Laufzeit ausgewählte Version kann auf der Grundlage einer Gesamtheit von Rückmeldungen der verschiedenen Anwender ausgewählt werden. In einem weiteren verwandten Aspekt kann das Verfahren für einen Anwenderkonto-Datenspeicher der jeden Person auf der Grundlage der Interaktion der jeden Person mit wenigstens einem der Bilder umfassen. Zum Beispiel kann sich ein Zuschauer durch Interagieren mit einem Objekt oder Charakter während einer Kinopräsentation unter Verwendung einer AR- oder VR-Vorrichtung das Recht „verdienen“, das Objekt, den Charakter oder einige verwandte Objekt oder Charactere in einer anderen Anwendung wie etwa einer Videospielanwendung oder einer Social-Media-Anwendung zu verwenden. In einigen Ausführungsformen kann der Datenspeicher, ein Computerspeicher in einer AR- oder VR-Ausgabevorrichtung, die von der jeden Person getragen wird, sein oder umfassen.
In einem weiteren Aspekt kann das Verfahren ein Einbeziehen des AR-Daten-Codes zur Steuerung eines Übergangs zwischen der durch eine AR-Ausgabevorrichtung aus den AR-Daten erzeugten AR-Ausgabe und einer auf dem Anzeigebildschirm gezeigten Videoausgabe auf der Grundlage wenigstens teilweise auf einer Geometrie des Anzeigebildschirms und einer relativen Position jeder Person, die die AR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet,. Demzufolge kann ein Zuschauer, der eine AR-Vorrichtung trägt, Bilder auf dem Anzeigebildschirm und durch die AR-Vorrichtung ausgegebene Bilder gleichzeitig sehen, ohne störende Unterbrechungen oder Unterbrechungen zwischen dem Bildschirmbild und den umgebenden AR-Bildern.
In einem weiteren Aspekt kann das Verfahren ein Einbeziehen der VR-Daten zur Ergänzung von Videodaten zur Ausgabe auf dem Anzeigebildschirm umfassen, zum Beispiel durch Abspielen der Videodaten und der VR-Daten in unterschiedlichen, nicht überlappenden Zeiten, so dass diejenigen der mehreren Personen, die eine VR-Ausgabevorrichtung tragen, Inhalte auf dem Anzeigebildschirm und auf einer VR-Ausgabevorrichtung zu unterschiedlichen Zeiten sehen. Die Videodaten und die VR-Daten können auch für eine gleichzeitige Wiedergabe konfiguriert sein. Die Videodaten können zweidimensionale, nicht-stereoskopische Rahmendaten, stereoskopische Rahmendaten oder beides sein oder umfassen.
In einem weiteren Aspekt kann das Verfahren ein Einbeziehen von haptischen Steuerdaten in den digitalen Filmstammdaten umfassen, wobei die haptischen Steuerdaten eine haptische Vorrichtung in Abstimmung mit den wenigstens einen von den AR-Daten oder den VR-Daten aktivieren.
In einem verwandten Verfahren kann ein Computer oder Netzwerk von verbundenen Computern verwendet werden, um digitale Filmstammdaten zu konfigurieren, die wenigstens entweder AR-Daten oder VR-Daten enthalten, um entweder eine AR-Ausgabe oder eine VR-Ausgabe mit einer Kinopräsentation bereitzustellen und die digitalen Filmstammdaten in einem nicht-transitorischen, computerlesbaren Medium zu speichern. Das Konfigurieren kann Operationen zum Bereitstellen der oben beschriebenen Ausgabeeffekte umfassen. Zum Beispiel kann die Konfiguration umfassen: Aufbereiten der AR oder der VR-Daten zum Ergänzen von Videodaten zum Projizieren oder Ausgeben auf dem Anzeigebildschirm, der zur Betrachtung von mehreren Personen angeordnet ist; Aufbereiten der AR- oder VR-Daten zum kontinuierlichen Erweitern von Bildern auf dem Anzeigebildschirm auf Bereiche jenseits einer äußeren Begrenzung des Anzeigebildschirms; Aufbereiten der AR- oder VR-Daten, um Bilder, die nicht auf dem Anzeigebildschirm erscheinen, zwischen dem Anzeigebildschirm und einer der mehreren Personen, die eine immersive Ausgabevorrichtung tragen (oder darüber, darunter, dahinter) erscheinen zu lassen; oder Aufbereiten der AR- oder VR-Daten, so dass die Bilder ein subjektives Erlebnis, ein objektives Erlebnis oder eine Mischung aus subjektiven und objektiven Erlebnissen liefern.
Das Verfahren kann ausführbare Anweisungen („Code“) in den AR- oder VR-Daten umfassen, damit ein Anwender mit wenigstens einem der Bilder interagieren kann, wodurch sich die AR-Ausgabe als Antwort auf Anwendereingaben ändert. Das Verfahren kann ein Konfigurieren des Codes umfassen, wobei die Interaktion eines Anwenders mit wenigstens einem der Bilder dazu führt, dass sich die auf dem Anzeigebildschirm gezeigte Videoausgabe ändert. Das Verfahren kann ein Konfigurieren des Codes umfassen, wobei die Interaktion eines Anwenders mit wenigstens einem der Bilder dazu führt, dass eine elektronische Aufzeichnung eines Lizenzrechts an digitalen Inhalten einem Anwenderkonto-Datenspeicher des Anwenders zur Verfügung gestellt wird.
Jedes der vorgenannten Verfahren kann in jedem geeigneten, programmierbaren Rechengerät implantiert sein, indem Programmbefehle in einem nicht-transitorischen, computerlesbaren Medium bereitgestellt werden, die, wenn sie durch einen Computerprozessor ausgeführt werden, die beschriebenen Operationen durch das Gerat bewirken. Ein Gerät kann einen Computer oder einen Satz angeschlossener Computer umfassen, der in der Videoproduktion verwendet wird oder in einem Kino oder Heimkino installiert ist. Weitere Elemente des Gerätes können z.B. ein Bildschirm, ein Audio-Ausgabegerät und ein Benutzereingabegerät sein, die an der Ausführung des Verfahrens beteiligt sind. Ein Gerät kann ein Virtual-Reality-Gerät umfassen, z.B. ein Headset oder ein anderes Display, das auf Bewegungen des Kopfes oder Körpers eines Anwenders reagiert, um den Eindruck zu erwecken, dass er sich in der gerenderten Szene, in der das Spiel gespielt wird, befindet.
Um die vorgenannten und verwandten Ziele zu erreichen, umfassen ein oder mehrere Beispiele die im Folgenden vollständig beschriebenen und in den Ansprüchen besonders hervorgehobenen Merkmale. Die nachfolgende Beschreibung und die beigefügten Zeichnungen liefern einen detaillierten Überblick über die verschiedenen Anwendungsmöglichkeiten der Beispiele. Weitere Vorteile und neue Eigenschaften ergeben sich aus der nachfolgenden detaillierten Beschreibung in Verbindung mit den Zeichnungen und den offenbarten Beispielen, die alle solche Aspekte und ihre Äquivalente umfassen.
Figurenliste
Die Merkmale, die Art und die Vorteile der vorliegenden Erfindung werden ersichtlich aus der nachfolgenden ausführlichen Beschreibung in Verbindung mit den Zeichnungen, in denen in der gesamten Beschreibung und den Zeichnungen gleiche Bezugszeichen gleiche Elemente bezeichnen.

1 ist ein schematisches Blockdiagramm, das Aspekte eines Systems und eines Geräts für die Produktion und Konfiguration digitaler Daten für die Virtual-Reality- oder Augmented-Reality-Ausgabe, das mit einem Verteilungssystem gekoppelt ist.
2 ist ein schematisches Blockdiagramm, das ausführlicher Aspekte eines Geräts zur Ausgabe von Virtual-Reality- oder Augmented-Reality-Inhalten zeigt.
3 ist ein schematisches Diagramm, das Aspekte der Betrachtung koordinierter, immersiver und nicht-immersiver Inhalte aus der Perspektive verschiedener Zuschauer zeigt.
4 ist ein Konzeptdiagramm, das Elemente eines Systems zum Ausgeben immersiver Inhalte an mehrere Anwender in einer Kino- oder Heimkino-Umgebung zeigt.
5A ist ein Blockdiagramm, das Aspekte eines Medienpakets mit Audio-VideoDaten mit einer vorgegebenen Erzählung mit zusätzlichen Inhalten zeigt, die mit der vorgegebenen Erzählung koordiniert und zur Bereitstellung einer alternativen Ausgabe konfiguriert ist.
5B ist ein Blockdiagramm, das Aspekte eines Inhaltsanzeigesystem mit koordinierter Ausgabe von immersiven und nicht-immersiven Inhalten zeigt.
6 ist ein schematisches Diagramm, das Komponenten einer stereoskopische Anzeigevorrichtung für ein immersives VR-Erlebnis zeigt.
7 ist ein Diagramm, das Komponenten und Konzepte eines Kino- oder Heimkinoraums für Multi-User-VR oder -AR zeigt.
8A ist ein Flussdiagramm, das Elemente zur Bereitstellung von VR- oder AR-Daten für eine AR- oder VR-Ausgabevorrichtung zeigt, die ein Kinoerlebnis bietet.
8B ist ein Konzeptdiagramm, das Elemente eines Systems zum Koordinieren von immersiven Inhalten zeigt, die mehreren Anwendern in einem Kino oder Heimkino zur Verfügung gestellt werden.
9 ist ein Flussdiagramm, das Elemente zur Bereitstellung von VR- oder AR-Daten für einen Anwender eines Kinos oder Heimkino nicht gleichzeitig mit zweidimensionalen (2D) Daten zur Anzeige auf einem Bildschirm oder dergleichen zeigt.
10 ist ein Flussdiagramm, das ein Verfahren zur Bereitstellung VR- oder AR-Daten für eine AR- oder VR-Ausgabevorrichtung zeigt, die ein Kinoerlebnis liefern.
11-13 sind Flussdiagramme, die weitere optionale Aspekte oder Operationen des in 10 dargestellten Verfahrens zeigen.
14 ist ein Konzeptblockdiagramm, das Komponenten eines Geräts oder Systems zur Bereitstellung VR- oder AR-Daten für eine AR- oder VR-Ausgabevorrichtung zeigt, die ein Kinoerlebnis liefern.
15 ist ein Flussdiagramm, das ein Verfahren zum Konfigurieren digitaler Filmstammdaten für eine Kinopräsentation zeigt.
16-17 sind Flussdiagramme, die weitere optionale Aspekte oder Operationen des in 15 dargestellten Verfahrens zeigen.
18 ist ein Konzeptblockdiagramm, das Komponenten eines Geräts oder Systems zur Konfigurierung digitaler Filmstammdaten für eine Kinopräsentation zeigt.

AUSFÜHRLICHE BESCHREIBUNG
Nachfolgend sind verschiedene Aspekte mit Bezug auf die Zeichnungen beschrieben. In der nachfolgenden Beschreibung sind zum Zwecke der Erläuterung zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis eines oder mehrere Aspekte zu ermöglichen. Es kann jedoch offensichtlich sein, dass die verschiedenen Aspekte ohne diese Einzelheiten realisiert werden können. In anderen Fällen sind bekannte Strukturen und Vorrichtungen in Blockschaltbildern gezeigt, um die Beschreibung dieser Aspekte zu erleichtern.
Ein beispielhaftes System 100 zur Produktion und Verteilung von immersiven Inhalten (z. B. AR und VR) in Abstimmung mit nicht-immersiven Inhalten (z. B. 2D-Video mit Audio, stereoskopische 3D-Video mit Audio, nicht-immersive Videospiele) ist in 1 gezeigt. Das System 100 kann einen Satz 102 von Produktionsaktivitäten umfassen, die Assets erzeugen, die auf verschiedene Weisen über verwandte unterschiedliche Versionen (immersiv und nicht-immersive) des zugrundeliegenden kreativen Inhalts (Creative Content) geteilt und verwendet werden. Kreative Inhalte umfassen zum Beispiel durch verschiedene Kamerasysteme 112, 114 gesammelte Videodaten, durch Audio-Subsysteme (nicht gezeigt) gesammelte und/oder erzeugte Audiodaten und von verschiedenen Modellierungs-/Animations-Subsystemen 108, 110 erzeugte und angeordnete Computermodellierungs-/Animationsdaten. Kreative Inhalte können in einem Datenspeicher 106 gespeichert werden. Es ist zu beachten, dass das System einige unterschiedliche Datenspeicher (nicht gezeigt) umfassen kann. Eine Produktionsserver-Komponente 104, die eine Familie von Produktionsanwendungen umfassen kann, die über ein Computernetzwerk arbeiten, kann unter der Kontrolle verschiedener Produktionsmitarbeitern, die den Produktionsprozess über mehrere Zugriffsterminals 118, 116 steuern, auf Daten in dem Datenspeicher 106 zugreifen. Der in dem System 100 gezeigte Anzahl von Komponenten ist nur beispielhaft. Es ist zu beachten, dass ein typischer Spielfilm oder ein anderes Studioproduktionssystem in der Regel eine viel größere Anzahl von Komponenten enthält als dargestellt sind. Kreativ- und technische Direktoren überwachen die Zusammenstellung kreativer Inhalte aus den verschiedenen Datenquellen, die für immersive Ausgabevorrichtungen und herkömmliche, nicht-immersive Vorrichtungen ausgelegt sind.
Die von dem System produzierten digitalen Inhalte können verschiedene Versionen der gleichen Geschichte umfassen, zum Beispiel eine 2D-Theaterversion; eine 2D-Heimkinoversion; eine Version für Mobilgeräte; eine stereoskopische 3D-Version für ein oder mehrere von einem Theater-, Heim- oder Mobilgeräte, eine VR-Version für ein Theatererlebnis, optional in Verbindung mit unterstützenden 2D- oder stereoskopischen 3D-Inhalten, eine VR-Version für den Heimgebrauch, ebenso optional für die Verwendung mit nicht-immersiven Inhalten; eine AR Version zum Ergänzen nicht-immersiver Inhalte in einem Theater, eine AR Version zum Ergänzen nicht-immersiver Inhalte in einer Heimkino-Umgebung oder in einem Mobilgeräteformat und Videospielinhalte in einem oder mehreren der vorgenannten Ausgabeformate. Fertige Produktionen in jeder der verschiedenen Versionen können einem Heimverteilungsserver 120 zur Verfügung gestellt werden, der die unterschiedlichen Versionen in einem Inhaltsdatenspeicher (nicht gezeigt) in Verbindung mit Metadaten zum Steuern der Nutzung und Verteilung speichern kann. Wenigstens eine Gruppe von Verbrauchern kann mehrere Versionen immersiver und nicht-immersiver Inhalte in einem einzigen Paket digitaler (Medien-) Inhalte erhalten, unabhängig davon, ob diese unter der Kontrolle eines Netzwerks 120 oder lokal on ein Computerlesbaren Medium wie etwa einer optischen Platte oder einer Speichervorrichtung gespeichert sind.
Verschiedene Verteilungskanäle, denen jeweils eigene Server-Ressourcen zugewiesen sind, können verwendet werden, um Inhalte für verschiedene Gruppen von Endanwendern bereitzustellen. Zum Beispiel kann ein Kinoverteilungsserver 130 immersive oder herkömmliche Inhalte zur öffentlichen Aufführung an Kinos verteilen. Zur Veranschaulichung ist ein Kino 140 von möglichen vielen Kinos ist dargestellt. Jedes Kino 140 kann seinen eigenen Server 134 besitzen, der verwendet wird, um digitale Inhalte an ein oder mehrere Theater zu verteilen, in denen jeweils eine Aufführung stattfindet. Jedes Theater (oder das Theater, wenn nur ein einziges Theater von dem Server 143 bedient wird) umfasst eine Kinoleinwand 136 und einen oder mehrere Zuschauer, die jeweils eine Vorrichtung 204, 138 zur Nutzung immersiver Inhalte, zum Beispiel ein VR-Visier oder AR-Headset, tragen. Das gleiche zugrundeliegende Audio-Video-Programm kann dadurch in unterschiedlichen Versionen für Heim- und Kinogebrauch vertrieben werden. Sowohl die Heim- als auch die Kinoversionen können technische Elemente umfassen, die unterschiedliche immersive Vorrichtungen koordinieren, die die Audio-Video-Programme gleichzeitig in immersivem Format abspielen. Ferner können beide Versionen Elemente umfassen, die das Abspielen von immersiven Inhalten mit gleichzeitigem oder nicht gleichzeitigem Abspielen von Inhalten koordinieren.
In einigen Ausführungsformen kann ein Medienpaket, das immersive und nicht-immersive Inhalte enthält, ein einziges, computerlesbares Medium (zum Beispiel ein optisches Plattenmedium oder eine FLASH-Speichervorrichtung) sein oder umfassen, in dem verpackte digitale Inhalte zusammen gespeichert sind. Die Verteilung eines nicht-transitorischen, greifbaren und tragbaren Speichermediums kann die Anforderung an die Netzwerkbandbreite reduzieren und einen zuverlässigen und nahtlosen Zugriff auf dichte digitale Inhalte durch das Verbrauchsgerät gewährleisten. In einigen Ausführungsformen kann eine schnelle Verteilung auf greifbare Medien durch Verteilung von ausgewählten Kiosken, die elektronische Kopien digitaler Inhalte zum Schreiben auf digitale Kopien besitzen, erreicht werden. Alternativ können solche Kioske die Vorteile von Verbindungen mit hoher Bandbreite nutzen, um die elektronischen Produkte zur Verteilung zu erhalten. In weiteren Ausführungsformen, zum Beispiel für den Kinovertrieb, können die elektronischen Inhalte über ein Kommunikationsnetzwerk und/oder ein Computernetzwerk übertragen und direkt auf einer Speichervorrichtung oder einem Speichermedium, die bzw. das mit einer Client-Vorrichtung verbunden oder darin integriert ist, die an der Wiedergabe der empfangenen Inhalte beteiligt ist, gespeichert werden.
2 zeigt Aspekte eines Inhaltverbrauchsgeräts 200 zur Nutzung von VR- oder AR-Inhalten. Mehrere Zuschauer einer Heimkino- oder Kinopräsentation können mit dem Inhaltverbrauchsgerät ausgestattet sein. Das Gerät 200 kann zum Beispiel einen Prozessor 202, zum Beispiel eine Zentralverarbeitungseinheit auf der Grundlage einer 80x86-Architektur, wie von Intel™ oder AMD™ entworfen, ein System-on-Chip, wie von ARM™ entworfen, oder jeden anderen Mikroprozessor umfassen. Der Prozessor 202 kann kommunikativ mit Hilfsvorrichtungen oder Modulen des 3D-Umgebungsgeräts 200 unter Verwendung eines Busses oder einer anderen Kopplung gekoppelt sein. Optional können der Prozessor 202 und einige oder alle seiner gekoppelten Hilfsvorrichtungen oder Module (Beispiele davon sind bei 204-216 dargestellt) in einem Gehäuse 218 aufgenommen oder mit diesem gekoppelt sein, zum Beispiel einem Gehäuse, das einen Formfaktor eines Personal Computers, einer Spielekonsole, eines Smartphones, eines Notepad, eines Laptops, einer Set-Top-Box, einer tragbaren Brille oder eines Visiers oder einen anderen Formfaktor hat.
Eine Anwenderschnittstellenvorrichtung 204 kann mit dem Prozessor 202 gekoppelt sein, um eine Anwendersteuereingabe für einen Anzeigeprozess für immersive Inhalte bereitzustellen, der von einer Engine zur Anzeige immersiver VR- oder AR-Inhalte ausgeführt wird, die auf dem Prozessor 202 läuft. Eine Anwendersteuerungseingabe kann zum Beispiel Auswahlen von einer grafischen Anwenderschnittstelle oder andere Eingaben (z. B. Text- oder Richtungsbefehle) umfassen, die über einen Touch-Screen, eine Tastatur, eine Zeigevorrichtung (z. B. Spielecontroller), ein Mikrofon, einen Bewegungssensor, eine Kamera oder einige Kombinationen von diesen oder ein andere Eingabevorrichtung erzeugt werden. Die Steuerungseingabe kann auch über einen Sensor 206 erfolgen, der mit dem Prozessor 202 verbunden ist. Ein Sensor kann zum Beispiel einen Bewegungssensor (z. B. einen Beschleunigungsmesser), einen Positionssensor, einen Temperatursensor, einen Ortssensor (zum Beispiel einen Global Positioning System (GPS) - Empfänger und - Controller), einen Eye-Tracking-Sensor oder ein Mikrofon umfassen. Der Sensor 206 kann eine Bewegung oder einen anderen Zustand einer Anwenderschnittstellenanzeige erfassen, zum Beispiel eine Bewegung eines Virtual-Reality-Headsets oder den körperlichen Zustand des Anwenders, zum Beispiel seine Hauttemperatur oder sein Puls.
Der Vorrichtung 200 kann optional einen Eingabe/Ausgabe-Port 208 umfassen, der mit dem Prozessor 202 verbunden ist, um eine Kommunikation zwischen einer VR/AR-Engine und einem Computernetzwerk zu ermöglichen, zum Beispiel einen Kinoinhaltsserver oder Heimkinoserver. Eine solche Kommunikation kann zum Beispiel verwendet werden, um Mehrspieler-VR- oder AR-Erlebnisse zu ermöglichen, einschließlich, aber nicht hierauf beschränkt, geteilte immersive Erlebnisse von filmischen Inhalten. Das System kann auch für nicht-kinematische Mehranwenderanwendungen, zum Beispiel soziale Netzwerke, Gruppenunterhaltungserlebnisse, Unterrichtsumgebungen, Videospiele und so weiter verwendet werden.
Eine Anzeige 220 kann mit dem Prozessor 202, zum Beispiel über eine Grafikverarbeitungseinheit (nicht gezeigt), die in dem Prozessor 202 oder in einem separaten Chip integriert ist, verbunden sein. Die Anzeige 210 kann zum Beispiel eine Flachbildschirm-Farbflüssigkristall (LCD) - Anzeige, die durch Leuchtdioden (LEDs) oder andere Leuchten beleuchtet wird, ein durch eine LCD-Anzeige oder eine digitale Lichtverarbeitungs (DLP) - Einheit betriebener Projektor, ein Laserprojektor oder eine andere digitale Anzeigevorrichtung umfassen. Die Anzeigevorrichtung 210 kann auch in einem Virtual-Reality-Headset oder einem anderen immersiven Anzeigesystem integriert sein. Eine Videoausgabe, die durch eine immersive VR/AR-Anzeige-Engine, die auf dem Prozessor 202 läuft, oder eine andere Anwendung zur Koordinierung von Anwendereingaben mit einer immersiven Inhaltsanzeige und/oder zum Erzeugen der Anzeige gesteuert wird, kann der Anzeigevorrichtung 210 zugeführt und als Videoanzeige an den Anwender (auch als der „Spieler“ bezeichnet) ausgegeben werden. Ebenso kann ein Verstärker/Lautsprecher oder ein anderer Audioausgangswandler 222 über ein Audioverarbeitungssystem mit dem Prozessor 202 verbunden sein. Eine Audioausgabe, die mit der Videoausgabe korreliert und durch die VR/AR-Anzeige-Engine oder einer anderen Anwendung erzeugt wird, kann dem Audiowandler 222 zugeführt und als hörbarer Ton an den Anwender ausgegeben werden.
Das 3D-Umgebungsgerät 200 kann ferner einen Direktzugriffsspeicher (RAM) 214 umfassen, der Programmanweisungen und Daten für eine schnelle Ausführung oder Verarbeitung durch den Prozessor während der Steuerung einer 3D-Umgebung enthält. Wenn die Vorrichtung 200 ausgeschaltet ist oder sich in einem inaktiven Zustand befinden, können Programmanweisungen und Daten in einem Langzeitspeicher, zum Beispiel einer nicht-flüchtigen magnetischen, optischen oder elektronischen Speichervorrichtung 216, gespeichert werden. Entweder der RAM 214 oder die Speichervorrichtung 216 oder beide können ein nicht-transitorisches, computerlesbaren Medium umfassen, das Programmanweisungen enthält, die, wenn sie durch den Prozessor 202 ausgeführt werden, bewirken, dass die Vorrichtung 200 ein Verfahren oder Operationen ausführt, wie sie hier beschrieben sind. Programmanweisungen können in einer geeigneten höheren Sprache, zum Beispiel C, C++, C#, oder Java™, geschrieben und kompiliert werden, um einen Code in Maschinensprache zur Ausführung durch den Prozessor zu erzeugen. Programmanweisungen können in funktionale Module gruppiert werden, um die Effizienz und Verständlichkeit der Kodierung zu erleichtern. Es ist zu beachten, dass solche Module, selbst wenn sie als Unterteilungen oder Gruppierungen im Quellcode unterscheidbar sind, nicht notwendigerweise als separate Codeblöcke in der Kodierung auf Maschinenebene unterscheidbar sind. Code-Bündel, die auf eine bestimmten Art von Funktion gerichtet sind, können ein Modul umfassen, unabhängig davon, ob Maschinencode auf dem Bündel unabhängig von anderem Maschinencode ausgeführt werden kann oder nicht. Mit anderen Worten, es ist möglich, dass für die Module nur High-Level-Module verwendet werden.
Immersive Inhalte können mit nicht-immersiven Inhalten in Kino- und Heimkinoeinstellungen abgespielt werden, um herkömmliche Inhalte zu ergänzen, die auf einem 2D-Bildschirm angezeigt und ohne jegliche Ausstattung oder stereoskopische Betrachtungsbrillen betrachtet werden. 3 zeigt Aspekte erweiterter Inhalte unter Verwendung von AR oder VR in einem Betrachtungsraum 300, der von mehreren Anwendern 314, 316 und 318 geteilt wird. Ein erster Anwender 314, der ein AR-Headset trägt, betrachtet ein Inhaltsobjekt 310 („Baum“) teilweise auf dem Bildschirm 302 und teilweise in einem erweiterten Ansichtsvolumen 304, das den Bildschirm 302 umgibt. Ein zweiter Anwender 316 betrachtet den Bildschirm 302 mit „bloßen Augen“ und ohne Ausrüstung und sieht nur die Teilansicht des Objekts 310 wie es auf dem Bildschirm 302 dargestellt ist. Der zweite Anwender 316 sieht nichts außer der tatsächlichen physischen Umgebung (z. B. ein Kino oder Kinosaal) in der Umgebung des Bildschirms 302.
Ein dritter Anwender 318, der ein VR-Headset verwendet, sieht den Bildschirm 302 überhaupt nicht. Stattdessen sieht der dritte Anwender ein äquivalentes Inhaltsobjekt 312 für das auf dem Bildschirm 302 angezeigte Objekt 310. Das Objekt 312 kann in dem VR-Raum 306 des Anwenders an einer Position relativ zu dem Anwender 318 angeordnet sein, die der Position des Objekts 310 relativ zu den Anwendern 314, 316 entspricht (d. h. subjektiv platziert). Daher können alle Anwender 314, 316 und 318 das Erlebnis von zumindest den auf dem Bildschirm 302 wiedergegebenen Inhalten teilen, während die Anwender 314 und 318, die mit AR- oder VR-Ausgabevorrichtungen ausgestattet sind, darüber hinaus gleichzeitig einen erweiterten Inhalt genießen können, wo der nicht ausgestattete Anwender 316 nur die auf dem Bildschirm 302 dargestellten Inhalte sehen kann. Sowohl der AR-ausgestattete Anwender 314 als auch der VR-ausgestattete Anwender 318 kann Objekte sehen, die vor, über, unter oder außerhalb des Bildschirms erscheinen. Zum Beispiel kann der AR-ausgestattete Anwender 314 den Drachen 320 sehen, während der VR-ausgestattete Anwender 318 einen äquivalenten Drachen 322 sieht. Beide Anwender sehen die Nur-Immersions-Objekte 320 322 in ihrem eigenen Bezugssystem, das in dem dargestellten Beispiel als subjektive Anzeige bezeichnet ist.
Das Koordinieren der Ausgabe auf einem 2D-Bildschirm mit der VR-Ausgabe kann unnötig doppelt erscheinen, bietet jedoch einige Vorteile, die nicht sofort ersichtlich sind. Zum Beispiel können VR-ausgestattete oder AR-ausgestattete Zuschauer und nicht ausgestattete Zuschauer ein gemeinsames Seherlebnis teilen, was das soziale Miteinander vor, während und nach dem geteilten Erlebnis fördert. Ferner können Zuschauer, die das VR-Erlebnis als zu emotional empfinden oder unangenehme Gefühle wie etwa Schwindel haben, ihr Headset zeitweilig abnehmen, ohne die Verfolgung der Geschichte zu unterbrechen. Alternativ oder zusätzlich kann das VR- oder AR-Headset so ausgestattet sein, dass man es ohne Spielunterbrechung einfach zwischen immersivem und nicht-immersivem Modus umschalten kann. Eine solche Umschaltung wird jedoch nicht alle Gründe Einbeziehen, weshalb ein Anwender während einer Aufführung die immersive Ausrüstung ablegen will. Zuschauer können ihr Headset aus anderen Gründen zeitweilig abnehmen wollen, wie etwa um sich mit einem anderen Zuschauer auszutauschen, einen Snack zu genießen, eine Anpassung vorzunehmen, sich vom Gewicht auf dem Kopf zu befreien, seinen Kopf zu kühlen oder zur Toilette oder zu einem Erfrischungsstand zu gehen, während sie der Handlung auf dem 2D-Bildschirm folgen.
Noch ein weiterer Vorteil besteht für Theaterbesitzer in der Möglichkeit, innerhalb eines Gebäudes verschiedene Ticketpreisklassen unterzubringen. Gegenwärtig müssen zum Beispiel Zuschauer, die höhere Ticketpreise bezahlen, um stereoskopische 3D-Inhalten zu genießen, in einem anderen Theater untergebracht werden als diejenigen, die niedrigere Preise bezahlen, um 2D-Inhalte zu genießen, was die doppelte Anzahl an Räumlichkeiten erfordert. In einem koordinierten 2D/AR/VR-System kann ein Theaterbetreiber eine gestaffelte Preisgestaltung für das Betrachten von Inhalten im selben Zuschauerraum realisieren. Zum Beispiel kann der Betreiber einen Grundticketpreis für den Zugang zum Theater, einen Aufpreis für die Herstellung einer Verbindung der AR/VR-Ausrüstung des Kunden mit dem immersiven Datenstrom des Theaters und einen weiteren Aufpreis für den Verleih einer AR/VR-Ausrüstung an Kunden, die keine eigene Ausrüstung mitbringen, verlangen.
In 4 ist ein System 400 zur Bereitstellung immersiver und nicht-immersiver Inhalte als Blockdiagramm gezeigt. Elemente des Systems 400 umfassen eine Datenquelle 408, mit einem Datenverteilungsserver 422 verbunden ist. In einer Kino- oder Heimkinoanwendung befinden sich eine oder mehrere immersive Ausgabevorrichtungen, zum Beispiel eine VR-Ausgabevorrichtung 404 und eine AR-Ausgabevorrichtung 406 (die jeweils ein Beispiel einer „immersiven Ausgabevorrichtung“ sind), in Kommunikation mit dem Server 422. Jede immersive Ausgabevorrichtung kann mit einer entsprechenden Anwender-Eingabevorrichtung 405, 407 verbunden sein. Die Anwender-Eingabevorrichtungen 405, 407 können einen oder mehrere Positions-, Orientierungs- oder Bewegungssensoren umfassen, die mit dem Körper eines Benutzers verbunden sind, und/oder ein Steuerfeld, das durch Anwendermanipulation oder andere körperliche Eingaben bedient werden kann. Durch solche Sensoren gewonnene Informationen können Komponenten des Servers 422 zur Verfügung gestellt werden. Gleichzeitig mit der Bereitstellung von Datenströmen an die immersiven Ausgabevorrichtungen 404, 406 kann der Server 422 auch einen Datenstrom an einen Projektor 420 oder eine weitere 2D-Anzeigevorrichtung, zum Beispiel einen elektronischen Anzeigebildschirm, liefern.
Verschiedenartige Daten können durch den Server 422 von der Datenquelle 408 gewonnen werden. Diese Arten können 2D-Daten 412, zum Beispiel eine digitale Videodatei oder ein Streaming-Feed, Audiodaten (nicht gezeigt), AR-Daten 414 zur Ergänzung der 2D-Daten unter Verwendung einer AR-Ausgabevorrichtung 406, VR-Daten 416 zum Bereitstellen eines parallelen oder ergänzenden Unterhaltungserlebnisses unter Verwendung einer VR-Ausgabevorrichtung 404 und eine Verteilungsanwendung 418 zum Steuern der Verteilung der oben genannten Daten von dem Server 422 umfassen. Der Server 422 kann die Anwendung 418 ausführen, die, wenn sie ausgeführt wird, verschiedene funktionale Module bereitstellen kann. Die Module können ein Verteilungsmodul 424 zum Steuern der Kommunikation mit und Verteilen mehrerer immersiver Ausgabevorrichtungen umfassen. Die Module können ein Entschlüsselungs- und Dekodiermodul 426 zum Steuern von Inhaltssicherheit und Bereitstellen von Streamingdaten in einer von einer Vorrichtung nutzbaren Form umfassen. Die Module können ein Inhaltskoordinationsmodul 428 zum Aufrechterhalten der Koordination zwischen zu verschiedenen immersiven Ausgabevorrichtungen gestreamten Unterhaltungsinhalten, ein Kundenanpassungsmodul 430 zum Kundenanpassung einer bestimmten immersiven Ausgabevorrichtung, zum Beispiel im Falle von interaktiven Inhalten, umfassen. Die Module können ein Metrikmodul 432 zum Sammeln von Rückmeldungen von immersiven Ausgabevorrichtungen 404, 406, die anonymisiert sein und verwendet werden können, um Nutzungsmuster mit dem Ziel zu analysieren, effektivere und überzeugendere Inhalte für immersive Ausgaben zum Verfolgen von Benutzerpräferenzen bereitzustellen, oder andere Zwecke umfassen.
Erzählinhalte, die zum Beispiel in Form eines Skripts vorliegen, können sowohl für immersive als auch nicht-immersive Ausgabevorrichtungen erzeugt werden. 5A zeigt allgemeine Aspekte 500 dem Schnüren von immersiven und nicht-immersiven Inhalten zu einem Medienpaket 502. Das Medienpaket 502 kann ein bestimmter Artikel wie etwa eine computerlesbaren optische Platte oder eine Speichervorrichtung sein oder diese umfassen. Alternativ kann das Paket 502 ein Satz von Daten sein, die auf einem Server liegen, für den einem bestimmten Anwenderkonto Zugriffsrechte gewährt werden, oder diese Daten umfassen. In beiden Fällen soll die Kombination von immersiven und nicht-immersiven Inhalten am Beispiel des Medienpakets 502 einen Konsumenten ansprechen, der Zugang zu immersiven Inhalten 508 und nicht-immersiven Inhalten 510 auf verschiedenen Vorrichtungen, ob Zuhause oder in einem öffentlichen Theater, erhalten möchte. Zum Beispiel kann der Konsument wünschen, nicht-immersive Inhalte 510 auf einem Video-Anzeigebildschirm einer mobilen oder größeren Vorrichtung und immersive Inhalte 508 mit Hilfe eines Headsets oder einer anderen Vorrichtung, die Zugang zu den VR- oder AR-Inhalten bietet, zu sehen.
Die nicht-immersiven Inhalte 510 können in Übereinstimmung mit einer nicht-immersiven Erzählung 506, zum Beispiel einem traditionellen Skript, aufgezeichnet werden. Die immersiven Inhalte 508 können gemäß einem immersiven Erzählungsregelwerk 504 wie etwa irgendeiner verzweigten Erzählung aufgezeichnet werden, oder alternativ, gemäß demselben Skript wie die nicht-immersiven Inhalte. Sowohl der immersive Erzählungsregelwerk 504 als auch die nicht-immersive Erzählung 506 kann ein Ausdruck eines erzählerischen Rückgrats sein. Zum Beispiel kann das erzählerische Rückgrat das gesamte Erzählungsregelwerk 504 umfassen, während die nicht-immersive Erzählung 506 eine Teilmenge des erzählerischen Rückgrats 512 ist, die nur ausgewählte kritische Erzählungsereignisse enthält, die in einer besonderen Erzählsequenz angeordnet sind.
In einem Aspekt können immersive Inhalte 508 und nicht-immersive Inhalte 510 durch paralleles Abspielen für die Nutzung koordiniert werden. 5B zeigt Aspekte paralleler Nutzung 501 mit Hilfe von koordinierten Ausgabevorrichtungen. Die unterschiedlichen Ausgabevorrichtungen können Inhalte von einer gemeinsamen Quelle erhalten, zum Beispiel von einem Inhalts-Server über ein lokales Netzwerk oder ein drahtloses, lokales Netzwerk in einem Kino oder Heimkino. Eine erste Ausgabevorrichtung für nicht-immersive Inhalte kann einen 2D-Anzeigebildschirm 526 umfassen. Eine zweite Ausgabevorrichtung 528 (immersive Ausgabevorrichtung) kann ausgelegt sein, um AR oder VR bereitzustellen. Die verschiedenen Ausgabevorrichtungen 526, 528 können von demselben Anwender 530 oder von verschiedenen Anwendern (nicht gezeigt), die einen gemeinsamen Raum belegen, genutzt werden.
Eine Datenquelle kann wenigstens drei Arten von Daten von einem Medienpaket liefern: 2D- oder stereografische 3D-Rahmendaten 516, VR- oder AR-Daten 520 und eine Karte 518, die die Rahmendaten 516 und die VR/AR-Daten 520 in Beziehung setzt. Die Verwendung der Karte 518 kann sich in Abhängigkeit von Bildschirmgeometriedaten 512 von dem Bildschirmausgabecontroller 522 und von Geometriedaten, die den Betrachtungsraum 514 definieren, zum Beispiel eine Position und eine Orientierung des Zuschauers 530 relativ zu dem Anzeigebildschirm 526, von Sensoren in der VR/AR-Ausgabevorrichtung 528 ändern. Der Bildschirmausgabecontroller 522 kann Rahmendaten auf herkömmliche Weise zur Ausgabe auf dem Anzeigebildschirm 526 wiedergeben. Während die Ausgabe auf dem Anzeigebildschirm 526 betrachtet wird, kann der Anwender auch die Ausgabe auf der VR/AR-Vorrichtung 528 betrachten. In einem VR-Modus kann die immersive Ausgabevorrichtung 528 die Ansicht auf dem Bildschirm 526 duplizieren und zusätzliche Umgebungsbilder und interaktive Inhalte hinzufügen. In einem AR-Modus kann die immersive Ausgabevorrichtung 528 die Anzeige 526 mit Umgebungsbildern oder interaktiven Inhalten ergänzen. Durch die Verwendung von VR- oder AR-Inhalten, die in einem Medienpaket mit nicht-immersiven Inhalten verschlüsselt sind, kann somit ein geeignet ausgestatteter Anwender den Betrachtungsbereich und die Anzahl interaktiver Objekte, die in Verbindung mit den Erzählinhalten erlebt werden können, relativ zu den Inhalten, die auf dem Anzeigebildschirm 526 angezeigt werden, vergrößern. Der VR/AR-Ausgabecontroller 524 kann den VR- oder AR-Ausgang über die Karte 518 und die Geometriedaten 512, 514 mit der Wiedergabe der Rahmendaten 516 synchronisieren. Das VR/AR-Ausgabesteuergerät 524 kann auch Signale zur Steuerung einer haptischen Ausgabevorrichtung 532, zum Beispiel ein Oszillator oder einen pneumatisch betätigten Druckspeicher, erzeugen.
Jedes der hier beschriebenen Merkmale kann durch eine Anwendung zum Bereitstellen einer 3D-Umgebung in Reaktion auf eine Anwendereingabe, die eine VR-Ausgabe für ein immersives VR-Headset oder dergleichen erzeugt, ausgeführt werden. 6 ist ein Diagramm, das einen Art einer immersiven, stereoskopischen VR-Anzeigevorrichtung 600 zeigt, die in verschiedenen Formfaktoren bereitgestellt werden kann, von denen die Vorrichtung 600 nur ein Beispiel ist. Die innovativen Verfahren, Geräte und Systeme sind nicht notwendigerweise auf einen bestimmten Formfaktor der immersiven VR-Anzeige begrenzt, sondern können in einer immersiven Video-Ausgabevorrichtung verwendet werden, die es dem Anwender ermöglicht, eine Position oder einen Blickpunkt der auf der Vorrichtung wiedergegebenen Videoinhalte zu steuern. Ebenso kann eine VR- oder AR-Ausgabevorrichtung eine Audioposition oder einen Blickwinkel auf die auf der Vorrichtung wiedergegebenen Audioinhalte Steuern. Der immersive, stereoskopische VR-Anzeigevorrichtung 600 repräsentiert eine Beispiel für eine relativ kostengünstige Vorrichtung, die für den Einsatz beim Verbraucher konzipiert wurde.
Die immersive, stereoskopische VR-Anzeigevorrichtung 600 kann eine Tablet-Haltestruktur aus einem undurchsichtigen, leichten Strukturmaterial (z. B. ein starres Polymer, Aluminium oder Karton) zum Halten und entfernbaren Platzieren eines tragbaren Tablet-Computers oder einer Smartphone-Vorrichtung mit hochauflösendem Anzeigebildschirm, zum Beispiel eine LCD-Anzeige, umfassen. Dieser modulare Aufbau kann die Notwendigkeit dedizierter elektronischer Komponenten zur Videoausgabe vermeiden, wodurch die Kosten stark reduziert sind. Die Vorrichtung 600 ist so ausgelegt, dass sie nah am Gesicht des Anwenders getragen werden kann, wodurch ein weites Sichtfeld mit einer kleinen Bildschirmgröße ermöglicht wird, wie sie typischerweise in bereits vorhandenen Handheld-Tablet-Computern oder Smartphone-Vorrichtungen zu finden ist. Die Haltestruktur 626 kann eine feste Halterung für ein Paar von Linsen 622 bereitstellen, die in Bezug auf den Anzeigebildschirm 612 gehalten werden. Die Linsen können so konfiguriert sein, dass der Anwender bequem auf den Anzeigebildschirm 612 fokussieren kann, der in einem Abstand von etwa ein bis drei Zoll von den Augen des Anwenders gehalten werden kann.
Die Vorrichtung 600 kann ferner eine Sichtabdeckung (nicht gezeigt) umfassen, die mit der Haltestruktur 626 verbunden und aus einem weichen, flexiblen oder einem anderen geeigneten undurchsichtigen Material hergestellt ist, um sich an das Gesicht des Anwenders anzupassen und Licht von außen zu blockieren. Die Abdeckung kann so gestaltet sein, dass sie gewährleistet, dass die einzige sichtbare Lichtquelle für den Anwender der Anzeigebildschirm 612 ist, wodurch der immersive Effekt der Vorrichtung 600 verbessert ist. Ein Bildschirmteiler kann verwendet werden, um den Bildschirm 612 in unabhängig angesteuerte stereoskopische Bereiche zu unterteilen, von denen jeder durch eine entsprechende der Linsen 622 sichtbar ist. Daher kann die immersive, stereoskopische VR-Anzeigevorrichtung 600 verwendet werden, um eine stereoskopische Anzeigeausgabe zu ermöglichen, die eine realistischere Wahrnehmung des 3D-Raums für den Anwender bietet. Zwei separate Anzeigen können ebenfalls verwendet werden, um dem linken bzw. rechten Auge des Anwenders unabhängige Bilder zu liefern. Es ist zu beachten, dass die vorliegende Technologie für die stereoskopische Videoausgabe verwendet werden kann, aber nicht unbedingt darauf begrenzt ist.
Der immersive, stereoskopische VR-Anzeigevorrichtung 600 kann ferner eine Brücke (nicht gezeigt) zum Positionieren über der Nase des Anwenders umfassen, um eine genaue Positionierung der Linsen 622 in Bezug auf die Augen des Anwenders zu erleichtern. Der Vorrichtung 600 kann ferner ein elastisches Band 624 oder eine andere Kopfbedeckung umfassen, das bzw. die um den Kopf des Anwenders passt und die Vorrichtung 600 am Kopf des Anwenders hält.
Die immersive, stereoskopische VR-Anzeigevorrichtung 600 kann zusätzliche elektronische Komponenten einer Anzeige- und Kommunikationseinheit 602 (z. B. ein Tabletcomputer oder ein Smartphone) in Bezug auf den Kopf 630 des Anwenders umfassen. Eine Haltestruktur 604 hält die Anzeige- und Kommunikationseinheit 602 mit Hilfe einer elastischen und/oder verstellbaren Rückhaltevorrichtung 624, die für einen komfortablen und sicheren Sitz sorgt, zum Beispiel eine einstellbare Kopfbedeckung. Beim Tragen der Halterstruktur 602 sieht der Anwender die Anzeige 612 durch das Paar von Linsen 622. Die Anzeige 612 kann durch die Zentralverarbeitungseinheit (CPU) 602 und/oder die Grafikverarbeitungseinheit (GPU) 610 über einen internen Bus 616 angesteuert werden. Komponenten der Anzeige- und Kommunikationseinheit 602 können ferner zum Beispiel eine Sende/Empfangs-Komponente oder -Komponenten 618 umfassen, die über eine drahtlose Kopplung eine drahtlose Kommunikation zwischen der CPU und einem externen Server ermöglichen. Die Sende/Empfangs-Komponente 618 kann mit jeder geeigneten Technologie oder jedem geeigneten Protokoll mit hoher Bandbreite betrieben werden, einschließlich zum Beispiel Mobiltelefontechnologien wie etwa 3GPP (Long Generation Evolution Partnership Project) Long Term Evolution (LTE), GSM (Global System for Mobile Kommunikations) oder UMTS (Universal Mobile Telecommunication System) und/oder eine WLAN- (Wireless Local Area Network) Technologie zum Beispiel unter Verwendung eines Protokolls wie dem IEEE (Institute of Electrical und Electronics Engineers) 802.11. Die Sende/Empfangs-Komponente(n) 618 kann (können) das Streamen von Videodaten zur Anzeige- und Kommunikationseinheit 602 von einem lokalen oder entfernten Videoserver und die Uplink-Übertragung von Sensor- und anderen Daten zu dem lokalen oder entfernten Videoserver für die hier beschriebenen Steuer- oder Zuschauerreaktionstechniken ermöglichen.
Komponenten der Anzeige- und Kommunikationseinheit 602 können ferner zum Beispiel einen oder mehrere Sensoren 614 umfassen, die über den Kommunikationsbus 616 mit der CPU 606 verbunden sind. Solche Sensoren können zum Beispiel eine Beschleunigungsmesser-/Neigungsmesser-Anordnung umfassen, die Orientierungsdaten zum Anzeigen einer Orientierung der Anzeige- und Kommunikationseinheit 602 liefert. Da die Anzeige- und Kommunikationseinheit 602 am Kopf 630 des Anwenders fixiert ist, können diese Daten auch kalibriert werden, um eine Orientierung des Kopfs 630 anzuzeigen. Der eine oder die mehreren Sensoren 614 kann/können ferner zum Beispiel einen GPS (Global Positioning System) - Sensor umfassen, der eine geografische Position des Anwenders anzeigt. Der eine oder die mehreren Sensoren 614 kann/können ferner zum Beispiel eine Kamera oder einen Bildsensor umfassen, die/der so positioniert ist, dass sie/er eine Orientierung eines oder beider Augen des Anwenders erfasst. In einigen Ausführungsformen kann eine Kamera, ein Bildsensor oder ein anderer Sensor zum Erfassen der Augen des Anwenders oder Augenbewegungen in der Haltestruktur 626 befestigt und mit der CPU 606 über den Bus 616 und einen seriellen Busport (nicht gezeigt), zum Beispiel a Universal Serial Bus (USB) oder einen anderen geeigneten Kommunikationsport verbunden sein. Der eine oder die mehreren Sensoren 614 kann/können ferner zum Beispiel einen Interferometer umfassen, das in der Haltestruktur 604 angeordnet ist und dazu dient, eine Oberflächenkontur der Augen des Anwenders anzuzeigen. Der eine oder die mehreren Sensoren 614 kann/können ferner umfassen zum Beispiel ein Mikrofon, eine Anordnung von Mikrofonen oder einen anderen Audioeingabewandler zum Erfassen von von vom Anwender gesprochenen Befehlen oder verbalen oder nicht verbalen hörbaren Reaktionen auf die Anzeigeausgabe umfassen. Der eine oder die mehreren Sensoren können zum Beispiel Elektroden zur Pulserfassung, einen Temperatursensor zum Erfassen der Haut- oder Körpertemperatur des Anwenders oder andere medizinische Sensoren zum Erfassen von Biofeedback-Daten umfassen.
Während 6 ein Beispiel für eine VR-Vorrichtung darstellt, sollte klar sein, dass immersive AR-Vorrichtungen mit Ausnahme der Anzeigeausgabekomponenten ähnliche elektronische Komponenten umfassen können. Der Prozessor und der Speicher einer AR-Vorrichtung unterscheiden sich auch in der Software, die verwendet wird. Die VR-Software dient der Steuerung einer VR-Ausgabevorrichtung, während AR-Software der Steuerung einer AR-Ausgabevorrichtung dient. Eine VR-Ausgabevorrichtung kann einen Anzeigebildschirm wie etwa einen herkömmlichen LCD- oder OLED-Bildschirm umfassen, der so in dem VR-Headset positioniert ist, dass er die Sicht des Anwenders auf alles außer dem, was auf dem Anzeigebildschirm angezeigt wird, verdeckt. Demgegenüber verdeckt eine AR-Ausgabevorrichtung die Sicht des Anwenders auf seine Umgebung nicht.
Einige Arten von AR-Ausgabevorrichtungen sind im Handel erhältlich oder in der Entwicklung. Bei einer Klasse von Vorrichtungen umfasst ein Anzeigebildschirm eine zweidimensionale Anordnung von Pixeln, die entweder auf einen ersten Zustand, in dem die Pixel durchsichtig sind, oder einen zweiten Zustand, in dem die Pixel undurchsichtig sind, eingestellt sind. Der Anzeigebildschirm wird von dem Anwender getragen und so positioniert, dass Gruppen von Pixeln, die auf den undurchsichtigen Zustand eingestellt sind, ein virtuelles Bild anzeigen, während benachbarte Pixel, die externe Szene übertragen. Dies führt dazu, dass das virtuelle Bild vom Blickwinkel des Anwenders in der Szene aus überlagert ist. In einer anderen Klasse von Vorrichtungen wird ein computergeneriertes Bild auf einen halbdurchsichtigen Bildschirm oder eine Linse projiziert, der/die auf ähnliche Weise wie das oben beschriebene VR-Headset getragen wird. Der Bildschirm oder die Linse besteht aus einem durchlässigen Einwegmaterial, das Licht von einer Seite durchlässt und von der anderen Richtung in einer oder mehreren Schichten reflektiert. Licht zum Bilden des Augmented-Reality-Bildes wird von einem DLP oder dergleichen von einem oder mehreren Sendern, die in der Nähe des Anwenders innerhalb des Headsets angeordnet sind, projiziert. In einer dritten Klasse von AR-Vorrichtungen nehmen eine oder mehrere Videokameras, die an dem Headset angebracht sind, die externe Szene fast so auf, wie sie der Anwender sehen würde, wenn die Sicht nicht durch einen vollkommen undurchsichtigen Bildschirm in dem Headset blockiert wäre, und kombinieren in Echtzeit Videos von den Kameras mit computergenerierten Inhalten, um eine erweiterte Anzeige zu erzeugen. In einem vierten Vorrichtungstyp projiziert ein Laserprojektor oder ein Projektor, der am Kopf des Anwenders befestigt und zu den Augen des Anwenders gerichtet ist, Bilder direkt auf die Augen des Anwenders und macht dadurch die Netzhaut zum einzigen Bildschirm, auf dem die erweiterten Inhalte angezeigt werden. Beispiele von Vorrichtungen für eine immersive und nicht-immersive AR-Ausgabe umfassen die Hololens™-Vorrichtung, die von der Microsoft™ Corporation entwickelt wird, das Google Glass™ von der Google Inc., das Digital Lightfield™ der Magic Leap, Inc. of Florida; die Space Glasses™ der Meta Company aus dem Portola Valley, Kalifornien und die castAR™ glasses von castAR aus Palo Alto, Kalifornien.
Für immersive VR/AR- oder ähnliche Ausgabemodalitäten, kann der Inhalt eines Films oder dergleichen verbessert werden, ohne das Wesentliche der geskriptete Unterhaltung zu eliminieren, die ein Teilnehmer oder Anwender (der visuell, akustisch und kognitiv eingetaucht ist) mehr oder weniger passiv genießen kann. Wenn zum Beispiel Anwender den Blickwinkel bewegen können, um Elemente zu sehen, die in der Hauptansicht verdeckt sind, während sich eine Szene entfaltet, können sie dramatische Details erkennen, die das Verständnis der Handlung verbessern, Emotionen hervorrufen, zukünftige Ereignisse vorwegnehmen oder anderweitig die Freude einer geskripteten Handlung steigern. Ein Beispiel dafür ist die Verbesserung der Erzählweise durch die vom Benutzer gewählte Tiefe des Fokus auf Feedbackschleifen zwischen einer interaktiven VR-Erzählung (oder was auch immer die Form der Erzählung ist) und mindestens zwei Sinnesmodalitäten plus einem kognitiven Element. Diese Modalitäten können herkömmliche Kinobetrachtungstechniken eher ergänzen als ersetzen, so dass einige Kunden eine herkömmliche Bildschirmversion derselben Funktion sehen können, während andere Kunden, die eine immersiveres Erlebnis wünschen, eine immersive Kopfbedeckung im selben Theater wie die herkömmlichen Kunden tragen können und gleichzeitig Zugang zu den zusätzlichen immersiven Funktionen haben.
Sensordaten von dem einen oder den mehreren Sensoren können lokal durch die CPU verarbeitet werden, um die Anzeigeausgabe zu steuern, und/oder zu einem Server zur Echtzeitverarbeitung durch den Server oder Nicht-Echtzeitverarbeitung übertragen werden. Als „Echtzeit“ wird hier die Verarbeitung auf eine Anwendereingaben bezeichnet, die die Anzeigeausgabe ohne willkürliche Verzögerung steuern, das heißt die so schnell reagiert, wie es technisch machbar ist. „Nicht-Echtzeit“ bezieht sich auf eine Stapelverarbeitung oder eine andere Verwendung von Sensordaten, die nicht zur sofortigen Steuerung der Anzeige verwendet werden, sondern die die Anzeige nach einer beliebigen Verzögerung steuern können.
Komponenten der Anzeige- und Kommunikationseinheit 602 können ferner zum Beispiel einen Audioausgangswandler 620, zum Beispiel einen Lautsprecher oder einen piezoelektrischen Wandler in der Anzeige- und Kommunikationseinheit 602 oder einen Audio-Ausgangsanschluss für Kopfhörer oder andere Audio-Ausgangswandler, die in dem Kopfband 624 oder dergleichen angebracht sind, umfassen. Die Audio-Ausgabevorrichtung kann Surround-Sound, Mehrkanal-Audio, so genanntes objektorientiertes Audio oder einen anderen Audiotrack-Ausgang, der stereoskopische, immersive VR-Videoanzeigeinhalte begleitet, bereitstellen. Komponenten der Anzeige- und Kommunikationseinheit 602 können ferner zum Beispiel eine Speichervorrichtung 608 umfassen, die über einen Speicherbus mit der CPU 606 verbunden ist. Der Speicher 608 kann zum Beispiel Programmanweisungen speichern, die, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass das Gerät 600 die hier beschriebenen Operationen ausführt. Der Speicher 608 kann ferner Daten, zum Beispiel Audio-VideoDaten in einer Bibliothek oder während Streaming-Operationen gepufferte Audio-VideoDaten, speichern. Weitere Einzelheiten zur Erzeugung und Verwendung von VR-Umgebungen können so sein, wie es in der vorläufigen U.S. Patentanmeldung Nr. 62/088,496 , eingereicht am 5. Dezember, 2014, die hier in ihrer Gesamtheit enthalten ist, beschrieben ist.
7 zeigt geometrische Aspekte einer Anzeigeumgebung 700 für koordinierte immersive und nicht-immersive Inhalte, einschließlich eines realen oder virtuellen Anzeigebildschirms 704 und einer virtuellen Hülle oder Schale 702, die als eine virtuelle Projektionsoberfläche verwendet werden, um den Hintergrund einer Szene in einer Weise zu rendern, die er sich nahtlos in eine Projektionsoberfläche einfügt. Obwohl als halbkugelförmige Kuppel gezeigt, sollte klar sein, dass die Schale 702 verschiedene Formen haben kann. Geschlossene Kurven ohne scharfe Kanten können für die meisten Schalengeometrien geeignet sein. 7 zeigt einen unteren Rand der Schale 702 zur Klarheit der Darstellung, doch es sollte klar sein, dass Übergänge zwischen Schalenoberflächen im Allgemein gekrümmt sein sollten, um Rendering-Artefakte zu vermeiden. Der Schale 702 umschließt ein Volumen, das hier als „Betrachtungsraumvolumen“ oder mit einem ähnlichen Begriff beschrieben sein kann, in dem die Handlung der Szene stattfindet. Es sollte jedoch klar sein, dass die Schale den Zuschauer nicht vollständig umgeben muss. Zum Beispiel kann sich die Schale 702 über oder zu den Seiten eines Flachbildschirms ohne Krümmung erstrecken, sich zum Publikum, jedoch nicht ganz um das Publikum herum krümmen oder in ausgewählten Bereichen unstrukturiert und unsichtbar sein.
Bei Implementierungen mit 100% gerenderter Ausgabe ist die Verwendung einer Schale 702 optional, da das Rendern oder Rendering auf einem Modell mit einer unendlichen Ausdehnung basieren kann. Jedoch kann die Verwendung einer texturierten Schale den Vorteil kürzerer Renderzeiten liefern und (durch eine Vereinfachung der Berechnung) das Rendern des Übergangsbereichs um einen 2D-Bildschirm 704 für AR-Anwendungen erleichtern. Hintergrundbilder können, mit Ausnahme der Berechnung eines von der Oberfläche des gerenderten Blickwinkels sichtbaren Abschnitts, auf der Schale unter Verwendung einer einfachen „Umgebungs“-Schattierung gerendert werden, die kein Retraycing oder keine Raytracing-Approximation zur Bestimmung des Oberflächenbildes erfordert. Statt dessen wird jedes Pixel, das mit einer bestimmten Farbe und Helligkeit gerendert wird, die in eine 2D-Textur „eingebrannt“ ist, die für die geometrische Schale geliefert wird, und zwar basierend auf einem Aggregat der Pixel der 2D-Textur, die einem gerenderten Pixel entspricht. Die Helligkeit oder der Weißabgleich der eingebrannten Textur kann in einem rechnerisch effizienten Batch- oder Echtzeitprozess an die Bildschirmeigenschaften eines bestimmten Theaters angepasst werden. Der Effekt kann so aussehen, als würde sich der Anzeigebildschirm über den gesamten texturierten Abschnitt der Schale 702 erstrecken. Ausgewählte Abschnitte der Schale 702 können aus welchem Grund auch immer untexturiert und ungerendert bleiben, zum Beispiel dann, wenn der Fokus auf einem dramaturgischen Effekt liegt, um Herstellungskosten zu senken oder aus Sicherheitsgründen für die Einrichtung. Es ist zu beachten, dass ein Theater, falls gewünscht, mehr als einen Bildschirm 704 umfassen kann.
Die Schale 702 stimmt nicht notwendigerweise mit dem Innenraum des Theaters oder Raums überein, in dem sich der Bildschirm 704 befindet oder in dem sich die Zuschauer 706, 708 befinden. AR-Ausgabevorrichtungen zeichnen sich dadurch aus, dass sie es einem Anwender ermöglichen, seine tatsächliche Umgebung zu betrachten, während die Ansicht mit Objekten überlagert wird, die so gerendert sind, dass sie als innerhalb der tatsächlichen Umgebung erscheinen. Wenn ein AR-Objekt gerendert ist, ist die tatsächliche Umgebung verdeckt. Wenn also eine Illusion erzeugt werden soll, die ein reales Objekt in ein gerendertes Objekt in der AR-Ansicht transformiert, ist es notwendig, das reale Objekt mit einem gerenderten Objekt vollständig zu verdecken. Wenn zum Beispiel eine Wand des Theaters durch einen Teil einer geometrischen Hülle 702 ersetzt werden soll, auf der ein Szenenhintergrund gerendert ist, muss die Schale die gesamte Wand verdecken. Wenn jedoch die Schale in dem AR-Raum jenseits der eigentlichen Wand angeordnet ist, kann der gerenderte Hintergrund nicht die gesamte Wand bedecken, es sei denn, die Schale ist vollständig geschlossen. Im Betrachtungsraumvolumen gerenderte Objekte können teilweise vor dem Hintergrund und teilweise vor realen Strukturen in dem Theater auftreten und von der beabsichtigten Illusion ablenken. Wenn die Schale vollständig geschlossen und sichtbar gemacht ist, ist das gesamte Sichtfeld des Anwenders eine gerenderte Ansicht und somit der Effekt der von VR und nicht AR in dem Sinne, in dem „AR“ in der vorliegenden Erfindung verwendet wird. Demzufolge kann zur AR-Ausgabe die Schale so erzeugt werden, dass sie in den Betrachtungsraum passt, um zu vermeiden, dass der realistische Eindruck des immersiven AR-Erlebnisses durch die Erzeugung unbeabsichtigter Effekte wie etwa durch die Wände tretende Objekte verringert wird. Daher sollte die Schale 702 als eine objektives Merkmal für AR-Zuschauer existieren, was bedeutet, dass sie auf der Grundlage die Geometrie des Betrachtungsbildschirms und -Raums platziert wird, und zwar so, dass jeder Zuschauer abhängig von seiner jeweiligen Position im Theater eine andere perspektivische Ansicht der Schale 702 hat.
Für die VR-Ausgabe kann die Schale auf jede beliebige Größe ausgedehnt sein, und der Bildschirm 704 kann virtuell sein, wobei er hauptsächlich als eine Art Brennpunkt 706 oder „Heim“ fungiert, der eine geometrische Beziehung zwischen dem Zuschauer und dem beabsichtigten erzählerischen Brennpunkt einer Szene definiert. Für die VR-Ausgabe kann die Schale objektiv oder subjektiv angeordnet werden, je nach Anwender- oder Regiepräferenz. Bei subjektiver Platzierung kann jeder VR-Zuschauer die Schale 702 von der gleichen scheinbaren Ausgangsposition aus betrachten, die optional für jede einzelne verändert werden kann, die in Antwort auf eine Anwendereingabe benutzt wird. Die Geometrie der Schale 702 und ob sie subjektiv oder objektiv angeordnet wird, kann von Szene zu Szene auf der Grundlage der dramaturgischen Ziele für jede Szene variieren. Diese Faktoren würden normalerweise für die Dauer bestimmter Szenen unverändert sein. Übergänge zwischen Schalen unterschiedlicher Formen und Übergänge zwischen objektiven oder subjektiven Blickwinkeln eines Objekts sind erlaubt und können abrupt oder allmählich sein. Ein allmählicher Übergang kann unter Verwendung eines Algorithmus implementiert werden, um eine Reihe von Zwischenformen oder Blickwinkeln zwischen den gewünschten Endpunkten zu erzeugen.
Jede Szene kann einen statischen Brennpunkt 706 haben, der im Falle eines physischen Bildschirms von Szene zu Szene feststehend wäre. Während der Bildschirm 704 als stark gekrümmt dargestellt ist, sollte klar sein, dass tatsächliche physische Bildschirme in der Regel eine viel geringere oder keine Krümmung besitzen. Wenn ein Bildschirm flach oder weniger gekrümmt ist, kann die Schale 702 bei Bedarf an die Krümmung oder Flachheit des physischen Bildschirm an seinen Rändern angepasst werden. Es ist davon auszugehen, dass die Form des Bildschirms 704 von Theater zu Theater variiert. Um die Verwendung gleicher Inhalte mit Bildschirmen und Theatern unterschiedlicher Größe zu ermöglichen, kann für jedes Theater eine benutzerdefinierte oder halb-benutzerdefinierte (d. h. aus einer Reihe von Standardformen und -größen ausgewählte) Schale ausgewählt und die benutzerdefinierte oder halb-benutzerdefinierte Schale mit Ausnahme des Bereichs 704 des Bildschirms, der zur Laufzeit auf der Grundlage einer Hintergrundtexturdatei für die Schale und das Sichtfeld jedes Zuschauers texturiert und gerendert werden. Zum Beispiel kann der Server für jeden Zuschauer einen Abschnitt der Hintergrundtextur auf der Grundlage des momentanen Zuschauersichtfelds auswählen und übertragen, sowie einen zusätzlichen Bereich außerhalb der momentanen Sichtfelds, um eine erwartete Intensität der Kopfbewegung einzubeziehen (die sehr gering sein oder in Abhängigkeit von der Geschwindigkeit, mit der sich Objekte durch die Szene bewegen, variieren kann). Somit muss nicht jede immersive Ausgabevorrichtung mit der gesamten Hintergrundtextur für jeden Rahmen versorgt werden, wenn sich der Hintergrund von Rahmen zu Rahmen ändert. Wenn der Hintergrund oder ein Abschnitt davon über einige Rahmen unverändert ist, kann es weniger ressourcenintensiv sein, jede immersive Ausgabevorrichtung mit der gesamten Hintergrundtextur oder dem unveränderten Abschnitt für den Satz von Rahmen zu versorgen, anstatt einen momentan betrachteten Bereich für einzelne Zuschauer auszuwählen.
Bei AR-koordinierten Betrachtungen wirkt der Bildschirm 704 im Wesentlichen als eine Art von dynamischem Hintergrund, der sich in nahezu jedem Rahmen ändert, aber dieser Teil der Ausgabe muss nicht der AR-Ausgabevorrichtung zugeführt werden, da er für den Zuschauer direkt sichtbar ist. Der umgebende Hintergrundabschnitt kann in Abhängigkeit von der Szene statischen oder dynamisch sein. Auch muss der ergänzende Hintergrund auf der Schale 702 nicht in jeder Szene vorhanden sein, sei es wegen dramaturgischer Effekte, um die Herstellungskosten zu senken oder aus anderen Gründen. Für einige Szenen kann der ergänzende Hintergrund auf einen relativ kleinen Bereich außerhalb des Bildschirms 704 begrenzt sein oder gänzlich fehlen. Im Allgemeinen kann, wenn dem Zuschauer ergänzende Inhalte nur zu bestimmten Zeiten bereitgestellt werden sollen, ein sichtbarer oder hörbarer Hinweis vor jeder solchen Zeit bereitgestellt werden, um den Zuschauer auf die Aktivierung seiner immersiven Ausgabevorrichtung hinzuweisen.
Eine geometrische Beziehung zwischen der objektiven Geometrie für eine bestimmte Szene und jedem Zuschauer, der ein AR- oder VR-Gerät trägt, kann durch einen Vektor 710, 712 von einem festen Brennpunkt 706 (z. B. einem Punkt in der Mitte des Anzeigebildschirms) und dem jeweiligen Zuschauer definiert sein, vorausgesetzt, dass der Zuschauer auf den Brennpunkt schaut, so dass die Bildebene der immersiven Vorrichtung senkrecht zu jedem der jeweiligen Vektoren 710 712 ist. Demzufolge können die Zuschauer, die ein immersives Gerät tragen, um ihre immersive Ausgabevorrichtungen zu Beginn der Vorführung zu kalibrieren, angewiesen werden, auf einen auf dem Bildschirm gezeigten Brennpunkt 706 oder auf ein paar Punkte nacheinander zu schauen, während die immersiven Kopfbedeckungen aller Personen jeweils eine Position und Orientierung der Blickpunkte aufzeichnen. Ferner können die Zuschauer angewiesen werden, andere Bewegungen auszuführen, während Positions- und Orientierungsmessungen in ähnlicher Weise durch die immersiven Kopfbedeckungen der einzelnen Personen durchgeführt und aufgezeichnet werden. Optional können individualisierte Einstellungen der Helligkeit und des Weißpunkts durch Messung des Weißpunkts und der Helligkeit eines oder mehrerer Bildschirmbereiche mit Hilfe eines Lichtsensors an der immersiven Kopfbedeckung der einzelnen Personen in ähnlicher Weise erleichtert werden. Der aufgezeichneten Messdaten können dann dazu verwendet werden, eine individualisierte Blickwinkelposition, Orientierung und Beleuchtungsparametereinstellung für jeden Zuschauer, der ein immersives Gerät trägt, aufzuzeichnen. Der Systemserver kann dann die Position und die Grundorientierung für jeden Zuschauer aufzeichnen, oder jede immersive Ausgabevorrichtung kann seine eigene Position und Orientierung relativ zu dem objektiven Koordinatensystem des Theaters aufzeichnen, oder beides.
Wie bereits erwähnt, kann die Position von gerenderten Objekten außerhalb des Bildschirms unter Verwendung eines objektiven Koordinatensystems, zum Beispiel ein Koordinatensystem mit seinem Ursprung in dem Brennpunkt 706 oder an einer anderen Stelle, spezifiziert und durch Satz von Koordinatenachsen von dem Ursprung definiert werden. Der fliegende Drachen 714 ist ein Beispiel für ein Objekt, das sich objektiv außerhalb des Bildschirms befindet und bei dem die Perspektive jedes Anwenders unterschiedlich ist. Wenn zum Beispiel die objektiven Koordinaten für den Drachen 714 eine Position nahe der Mitte des Betrachtungsraumvolumens angeben, gibt das immersive Ausgabevorrichtung jedes Anwenders eine Darstellung des Drachens in der Mitte des Theaters an. Ein Anwender 706, der sich weiter rechts im Theater befindet, wird den Drachen 714 links von sich sehen, während ein anderer Anwender 708, der sich weiter links im Theater befindet, den Drachen 714 rechts von sich sehen wird. Ferner können Objekte außerhalb des Bildschirms auf der Grundlage jeweiliger subjektiver Koordinatensysteme, die durch die einzelnen Anwenderausrüstungen während einer Kalibrierungssequenz definiert werden, relativ zu jedem Anwender bestimmt werden. Die Vögel 716, 718 sind ein Beispiel von Objekten, die subjektiv außerhalb des Bildschirms angeordnet sind und deren Position und Orientierung in Koordinaten relativ zu dem jeweiligen Zuschauer bestimmt sind. Daher werden beide Anwender ihre jeweiligen subjektiven Objekte außerhalb des Bildschirms (z. B. die Vögel 716, 718) an derselben Position und in derselben Orientierung relativ zu sich sehen. Es ist zu beachten, dass der Anwender 706 nur Vogel 716 sehen wird, nicht jedoch irgendeine andere Instanz desselben subjektiven Objekts, und ebenso wird der Anwender 708 nur sein jeweiliges Objekt 718 sehen. Ob oder nicht ein Satz von Objektkoordinaten subjektiv oder objektiv ist, kann durch ein Bit-Flag angezeigt werden. Zum Beispiel können objektive Koordinaten durch einen ‚1‘-Wert und subjektive Koordinaten durch einen ‚O‘-Wert des Bit-Flags, oder umgekehrt, für ein oder mehrere Koordinatensätze angezeigt werden.
Verschiedene Anpassungen der Rendering-Parameter für immersive Daten können zwischen der gemeinsamen „Standard“-Inhaltequelle (z. B. digitale Filmstammdaten) und dem individualisierten Renderingprozess von jedem Anwender vorgenommen werden. 8A zeigt Elemente eines computerimplementierten Prozesses 800 für solche Anpassungen. Jedes einzelne oder alle dargestellten Elemente des Prozesses 800 können individuell von der immersiven Ausgabeeinrichtung jedes Anwenders oder (mit Ausnahme der Ausgabe von gerenderten immersiven Inhalten) von einem Kinoserver oder Netzwerk ausgeführt werden. Zunächst werden bei 802 immersive Daten in digitalen Filmstammdaten von irgendeiner geeigneten Datenquelle gewonnen und entschlüsselt, um Rahmenrenderungsparameter für jeden Rahmen oder Satz von Rahmen zu gewinnen. Solche Parameter können zum Beispiel Schalenobjekte und Objekte außerhalb des Bildschirms, die in der Szene erscheinen, die Positionen und Orientierungen aller zu renderenden Objekte, die jeweils zu einem Satz von Positions- und Orientierungskoordinaten gehören, die als subjektiv oder objektive gekennzeichnet sind, zugehörige Objekttexturen für gerenderte Objekte, Beleuchtungsparameter und Kameraparameter umfassen. Standard-Rahmenrenderungsparameter können dann für jeden Rahmen oder für Sätze von mehreren zusammenhängenden Rahmen nach Bedarf angepasst werden.
Diese Einstellungen können bei 804 ein Transformieren von objektiven Koordinaten für indizierte Objekte in das Koordinatensystem umfassen, das von der entsprechenden Render-Engine zum Rendern eines Blickwinkel verwendet wird. Allgemein transformiert das Transformieren 804 objektive Koordinaten eines Objekts in die Koordinaten, die von der entsprechenden Render-Engine zum Rendern immersiver Ausgaben für eine bestimmte immersive Ausgabevorrichtung verwendet werden. Die entsprechende Render-Engine an verschiedenen Stellen lokalisiert sein, wie etwa in einem Direktzugriffsspeicher einer immersiven Vorrichtung, in einer lokalen Hilfsvorrichtung für die immersive Ausgabevorrichtung, in einem Kinoserver oder einer Serverfarm oder in einer Cloud-Computing-Ressource. In jedem Fall basiert the Koordinatentransformation auf Koordinaten, die von der Render-Engine verwendet werden, und Kalibrierungsdaten, die die geometrische Beziehung zwischen jedem Zuschauer und den objektiven Koordinaten des Theaters herstellen. Jedes im Stand der Technik bekannte Transformationsverfahren kann für die Koordinatentransformation verwendet werden.
Die Anpassungen können ferner bei 806 eine Transformierung subjektiver Koordinaten für angezeigte Objekte in das Koordinatensystem, das von von der entsprechenden Render-Engine zum Rendern eines Blickwinkels verwendet wird, umfassen. Im trivialen Fall ist keine Transformation notwendig, da die gemeinsamen subjektiven Werte für jede Render-Engine funktionieren und für jeden Zuschauer gleich sind. In einigen Fällen kann jedoch eine bestimmte Transformation erforderlich sein, um subjektive Koordinaten in einen korrekten Zustand zum Rendern zu bringen, zum Beispiel in eine Art von Koordinatensystem umzuwandeln, um eine bestimmte Render-Engine zu erleichtern oder um einen Offset-Wert zu addieren und dadurch physikalische Unterschiede zwischen Anwendern einzubeziehen.
Die Anpassungen können ferner bei 808 ein Anpassen einer Position oder Orientierung von gerenderten Objekten auf der Grundlage von Anwendereingaben umfassen, wenn es sich um interaktive Objekte handelt. Das Aussehen, die Position, oder Orientierung ausgewählter Objekte kann von Anwendereingaben abhängen. Der Einfluss von Anwendereingaben kann auf bestimmte Objekte und Änderungsbereiche begrenzt sein, um zu verhindern, dass der Erzählfluss nicht unterbrochen wird und gleichzeitig die Zuschauer synchron zu halten.
Die Anpassungen können ferner bei 810 ein Anpassen der Szenenbeleuchtungsparameter umfassen. In einem Aspekt können die Position und die Orientierung von Szenenlichtern als objektiv oder subjektiv bezeichnet werden und je nach Bedarf wie jedes andere Objekt außerhalb des Bildschirms koordiniert werden. Ferner können auch andere Beleuchtungsparameter wie etwa Intensität oder Farbe so eingestellt werden, dass die Helligkeit und die Farbe von gerenderten Szeneelementen mit der Helligkeit und der Farbe der Ausgabe auf dem Anzeigebildschirm des Theaters übereinstimmen.
Die Anpassungen können ferner bei 812 ein Anpassen der Objekttextur umfassen, zum Beispiel ein Anwenden einer automatischen Detailgenauigkeit, und zwar auf der Grundlage eines Abstands zwischen dem gerenderten Blickwinkel und jedem gerenderten Objekt, oder eine gleichwertige Maßnahme. Die automatische Detailgenauigkeit bietet weniger genaue Texturkarten für entfernte Objekte, um die Rendering-Performance zu verbessern. Ebenso können Anpassungen der automatischen Detailgenauigkeit verwendet werden, um eine Maschendichte für Objekte außerhalb des Bildschirms auf der Grundlage des Abstands von dem Blickwinkel zu wählen, wiederum für die Rendering-Effizienz.
Die Anpassungen können ferner bei 814 ein Anpassen anderer Kameraparameter als die Position und die Orientierung, wie etwa den Brennpunkt, das Gesichtsfeld und die Apertur, auf der Grundlage einer immersiven Eingabe umfassen. Daher kann es eine immersive Render-Engine einem Anwender ermöglichen, mit geeigneten Kameraeinstellungen die Szene „zu vergrößern“ oder „zu verkleinern“. Im AR-Modus mit einem gemeinsamen Anzeigebildschirm kann ein solcher Kamera-Zoom zu Abweichungen zwischen dem Anzeigebildschirm 704 und der gerenderten Schale 702 oder Objekten außerhalb des Bildschirms 714, 716, 718 führen und auf das Rendern von Ansichten begrenzt sein, die nur den Anzeigebildschirm ausschließen. Sobald die Einstellungen vorgenommen sind, kann die Render-Engine die Szene bei 816 rendern, und die gerenderte Daten können unter Verwendung einer immersiven Ausgabevorrichtung bei Block 818 angezeigt werden.
In einer Theaterumgebung mit sitzenden Gästen kann die Position jedes Zuschauers relativ statisch sein, aber die Orientierung des Kopfs des Zuschauers wird sich während der Show verändern. Der Kinoverteilungsserver kann Position- und/oder Orientierungsdaten zur Verwaltung der Nutzung von Bandbreiten verfolgen oder Positions- und Orientierungsinformationen ignorieren, wenn das Theaterinformationssystem die Bereitstellung vollständig immersiver Umgebungsinformationen für jeden Anwender für jeden Rahmen unterstützen kann. Wenn die Bandbreite des Informationssystems ausreichend ist und die Rechenleistung der einzelnen Ausgabevorrichtungen ausreichend hoch ist, um alle immersiven Merkmale in jedem Rahmen zu rendern, können alle Berechnungen der einzelnen Ansichten an den jeweiligen immersiven Ausgabevorrichtungen durchgeführt werden. Unter der Annahme, dass sich die derzeitigen Trends in der Rechenleistung und der Übertragungsbandbreite fortsetzen, ist es wahrscheinlich, dass die Positions- und Orientierungsverfolgung durch einen Verteilungsserver irgendwann überflüssig wird, es sei denn, es werden statistische Zuschauermetriken gesammelt. In der Zwischenzeit muss die Rechenleistung möglicherweise auf der Serverseite angesiedelt werden, um Aufgaben wie etwa das Steuern der Bandbreite oder das Bereitstellen eines Hochgeschwindigkeits-Renderings in hoher Qualität in Echtzeit zu bewältigen.
In einer weiteren alternativen Ausführungsform 850, die in 8B gezeigt ist, können immersiv und nicht-immersive Inhalte heruntergeladen oder auf andere Weise auf mehrere dedizierte Speichervorrichtungen 858A, 858B abgelegt werden, von denen jede mit einem jeweiligen der immersiven Ausgabevorrichtungen 856A, 856B über eine Verbindung hoher Bandbreite wie etwa eine Hochgeschwindigkeits-USB (Universal Serial Bus) - oder eine SATA (Serial Advanced Technology Attachment) - Verbindung verbunden ist. Jede der Speichervorrichtungen 858A, 858B kann in den immersiven Ausgabevorrichtungen 856A, 856B integriert oder in dem Theater installiert und mit den immersiven Ausgabevorrichtungen 856A, 858B über einen Kabelanschluss an jedem Stuhl und einer entsprechenden der Render-Steuereinheiten 852A, 852B verbunden sein. Die Rendereinheiten 852A, 852B können jeweils, je nach verfügbarer Technologie, zur Optimierung der Effizienz oder des Komforts implementiert werden, zum Beispiel in einem Direktzugriffsspeicher oder einem speziellen Grafik-Hardware-Subsystem einer immersiven Vorrichtung, in einer lokalen Zusatzhard- oder -softwarekomponente für die immersive Ausgabevorrichtung (z. B. unter einem Kinositz), in einem Kinoserver oder einer Serverfarm oder in einer Cloud Computing Ressource. Jede der Render-Steuereinheiten 852A, 852B kann die Inhalte von der jeweiligen der Speichervorrichtungen 858A, 858B auf der Grundlage von Sensordaten von einer entsprechenden der immersive Ausgabevorrichtungen 856A, 856B erhalten. Die Schnelligkeit des Kinosystems 850 kann zwischen unterschiedlichen Zuschauern und einem 2D-Anzeigebildschirm 870 durch ein Signal von einem Kinoserver 872, zum Beispiel ein drahtloses Signal, das durch ein Koordinationsmodul 878 erzeugt wird, gesteuert und koordiniert werden. In diesen Ausführungsformen werden Inhaltsdaten über jeweilige Busverbindungen mit hoher Bandbreite jeder immersiven Ausgabevorrichtung zur Verfügung gestellt, während Steuersignale, die zur Koordinierung des Programms über das gesamte Publikum verwendet werden, in Echtzeit über eine drahtgebundene oder eine drahtlose Schnittstelle mit hoher Bandbreite bereitgestellt werden können. Die Inhaltsdaten 864, 866, 862 können in verschlüsselter Form in Abhängigkeit von einem Sicherheitssystemmodul 880 gespeichert werden, das nur während einer Theatervorführung oder zu anderen autorisierten Zeiten zugänglich ist. AR-Daten 864 können für die AR-Ausgabevorrichtung 854A gerendert werden, und VR-Daten 866 können für die VR-Ausgabevorrichtung 854B gerendert werden. Sensordaten von den Anwender-Eingabevorrichtungen 856A, 856B können primär verwendet werden, um das Rendern durch die Rendereinheiten 852A, 852B zu steuern, und können sekundär einer Metrik-Komponente 882 zugeführt werden, um aggregierte Publikumsreaktionen auf immersive Inhalte zu verfolgen. Eine Kommunikationssoftwarekomponente 876 kann verwendet werden, um Kommunikationen zwischen den Rendereinheiten 852A, 852B und dem Server 872, immersiven Ausgabevorrichtungen 854A, 854B und anderen Systemkomponenten zu Steuern. Ebenso kann eine administrative Softwarekomponente 868 den gesamten Systembetrieb auf dem Server 872 Steuern.
Obwohl Bandbreiteneinschränkungen bei der Bereitstellung von Inhaltsdaten verringert werden, kann die Bereitstellung der Inhalte über einen Bus nur die Hälfte des Ressourcenproblems lösen. Gegenwärtige Grafikprozessoren zum Rendern von Bildern in Kinoqualität mit hoher Auflösung in Echtzeit können einen Bedarf an Leistung und Platz haben, der sie für den Einbau in tragbare, mobile Computergeräte ungeeignet macht. Daher können kinoseitige Implementierungen mit Verbindungen mit hoher Bandbreite, zum Beispiel Render-Management-Einheiten 852A, 852B, die lokal in der Kinobestuhlung implementiert sind, in naher Zukunft eine machbare Lösung für die intensiven Renderanforderungen von hochqualitativen, immersiven Inhalten bieten. Da sich die Grafik-Render-Technologie verbessert, können diese Einheiten in regelmäßigen Abständen aktualisiert auf leistungsfähigere Prozessoren mit geringem Stromverbrauch aufgerüstet werden und schließlich ausgemustert werden, wenn mobile, batteriebetriebene Prozessoren leistungsfähig genug sind, um die Verarbeitungslast zu bewältigen. Alternativ oder zusätzlich kann eine Kommunikationstechnologie mit sehr hoher Bandbreite und verbesserter Bildkompressionstechnologie das Rendern auf Cloudimplementierte Rendereinheiten auslagern.
In einem weiteren Aspekt können immersive Inhalte verwendet werden, um in einem nicht-gleichzeitigen Präsentationsverfahren 900, wie es in 9 gezeigt ist, nicht-immersive Inhalte zu ergänzen. Wie es in Block 902 gezeigt ist, können 2D-(oder stereografische 3D) Inhalte für die Projektion oder eine andere herkömmliche 2D-Bildschirmanzeige ohne begleitende immersive Wiedergabe abgespielt werden. Wenn sich in 904 eine immersives Wiedergabesegment nähert, kann an die Zuschauern, die eine immersive Ausgabeeinrichtung besitzen, ein Signal gegeben werden, dass ein immersives Segment unmittelbar bevorsteht. Zum Beispiel kann Text oder können Grafiken auf der Bildschirmanzeige angezeigt oder die immersiven Ausgabevorrichtungen automatisch eingeschaltet werden. Bei 906 kann optional die 2D-Wiedergabe gestoppt oder in einen Modus „immersive Pause“ versetzt werden. Alternativ kann die 3D-Wiedergabe gleichzeitig fortgesetzt werden. Bei 908 kann das Kinosystem eine immersive Ausgabe in einer geeigneten Weise ermöglichen und bewirken, wie es hier beschrieben ist. Bei 910 kann das Kinosystem, wenn das immersive Segment zu Ende ist, die immersive Wiedergabe deaktivieren und erst bei 902 zur 2D-Darbietung zurückkehren.
In Anbetracht des Vorhergehenden und als zusätzliches Beispiel zeigen die 10-12 Aspekte eines Verfahrens oder von Verfahren zur gleichzeitigen immersiven und nicht-immersiven Wiedergabe in einem Kino oder Heimkino, wie es/sie von einem Heim- oder durchgeführt Kinoserver oder einem anderen hier beschriebenen Computergerät ausgeführt werden kann/können. Wie es in 10 gezeigt ist, kann ein computerimplementiertes Verfahren 1000 bei 1010 eine Kommunikation mit mehreren immersiven Ausgabevorrichtungen umfassen, die jeweils so konfiguriert sind, dass sie einen von einem Augmented Reality (AR)-Ausgang und einem Virtual Reality (VR)-Ausgang auf der Grundlage eines Datensignals bereitstellen, wobei jede der mehreren immersiven Ausgabevorrichtungen in Sichtweite eines 2D-Anzeigebildschirms in einem Raum, wie etwa in einem Heimkino oder kommerziellen Kino angeordnet sind sein. Der Kommunikation kann durch einen oder mehrere von einem Kinodatenverteilungsserver, einem Heimverteilungsserver oder einem Netzwerk aus dedizierten, immersiven Rendereinheiten durchgeführt werden. Das Verfahren kann bei 1020 die Konfiguration des Datensignals auf der Grundlage digitaler Filmstammdaten umfassen, die wenigstens eine von VR-Daten und AR-Daten umfassen. Das Verfahren kann bei 1030 die gleichzeitige Übertragung des Datensignals zu den mehreren immersiven Ausgabevorrichtungen umfassen, wobei es sich in Sichtweite des Anzeigebildschirms befindet.
Das Verfahren 1000 kann, in beliebiger Reihenfolge, irgendeine oder mehrere der zusätzlichen Operationen 1100 1200 oder 1300 umfassen, die in den 11, 12 und 13 gezeigt sind. Keine dieser zusätzlichen Operationen wird notwendigerweise in jeder Ausführungsform des Verfahrens durchgeführt, und das Vorhandensein einer der Operationen 1100 1200 oder 1300 erfordert nicht notwendigerweise, dass eine andere dieser zusätzlichen Operationen ebenfalls durchgeführt wird.
Wie es in 11 gezeigt ist, kann das Verfahren 1000 ferner bei 1110 das Ausgeben eines Bildes auf der Grundlage eines Videodatenbereichs der digitalen Filmstammdaten auf dem Anzeigebildschirm gleichzeitig mit dem Übertragen umfassen. Wie es Verbindung mit 9 erwähnt ist, kann die Anzeige auf dem 2D-Anzeigebildschirm auch nicht gleichzeitig mit der immersiven Ausgabe erfolgen.
In einem weiteren Aspekt kann das Verfahren 1000 ferner bei 1120 ein Mitaufnehmen der AR-Daten in das Datensignal umfassen, um dadurch die Videodatenausgabe auf dem Anzeigebildschirm zu erweitern. Dieses Erweitern kann bei 1130 ein Konfigurieren des Datensignals umfassen, so dass die Bilder auf dem Anzeigebildschirm, wenn sie durch die mehreren immersiven Ausgabevorrichtungen empfangen werden, für jede Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, kontinuierlich auf Bereiche außerhalb des Anzeigebildschirms ausgedehnt werden. In einem weiteren Aspekt kann das Erweitern umfassen bei 1140 ein Einbeziehen des AR-Daten-Codes (z. B. Programmanweisungen oder Parameter) zum Steuern eines Übergangs zwischen einer AR-Ausgabe, die durch eine AR-Ausgabevorrichtung aus den AR-Daten erzeugt wird, und der auf dem Anzeigebildschirm gezeigten Videoausgabe auf der Grundlage zumindest teilweise von einer Geometrie des Anzeigebildschirms und einer relativen Position jeder Person, die die AR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet.
Wie es in 12 gezeigt ist, kann das Verfahren 1000 ferner bei 1210 ein Konfigurieren des Datensignal umfassen, so dass sie, wenn sie durch die mehreren immersiven Ausgabevorrichtungen empfangen werden, Bilder, die nicht auf dem Anzeigebildschirm erscheinen, so erscheinen, als ob sie sich in oder um einem Betrachtungsraumvolumen für jede Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachten, befände. Zum Beispiel können die immersiven Daten dazu führen, dass eine Objekt außerhalb des Bildschirms oder eine Hintergrundschale gerendert und ausgegeben wird, wie es in Verbindung mit 7 beschrieben ist. In einem weiteren Aspekt kann das Verfahren 1000 ferner bei 1220 das Datensignal so konfigurieren, dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in einem Koordinatensystem erscheinen, das relativ zu jeder Person, die die immersiv Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet (d. h. in subjektiven Koordinaten, wie es in Verbindung mit 7 beschrieben ist), definiert ist. Ferner oder alternativ dazu kann das Verfahren 1000 bei 1230 ein Mitaufnehmen des Datensignals umfassen, so dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in einem Koordinatensystem erscheinen, das relativ zu dem Anzeigebildschirm definiert ist (d. h. in objektiven Koordinaten, wie es in Verbindung mit 7 beschrieben ist).
In einem weiteren Aspekt kann das Verfahren 1000 ferner bei 1240 den Datensignalcode einbeziehen, wodurch es jeder Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, möglich ist, mit wenigstens einem der Bilder, die nicht auf dem Anzeigebildschirm erscheinen, zu interagieren, wodurch die immersive Ausgabe geändert wird, wie es weiter in Verbindung mit 8A beschrieben ist. Alternativ oder zusätzlich kann das Verfahren bei 1250 die auf dem Anzeigebildschirm gezeigte Videoausgabe auf der Grundlage der Interaktionen der Personen mit wenigstens einem der Bilder ändern. Zum Beispiel können bedingte Videosequenzen für bestimmte Szenen vorbereitet werden, die auf dem 2D-Bildschirm abgespielt werden sollen, und die Sequenz, die auf dem 2D-Theaterbildschirm gezeigt wird, der durch den Kinoserver auf der Grundlage der Interaktionen von einem oder mehreren Zuschauern mit einem immersiven Objekt außerhalb des Bildschirms ausgewählt wird. Somit können die Zuschauer das Gefühl genießen, nicht nur ihre eigene immersive Erfahrung zu beeinflussen, sondern auch die nicht-immersive gemeinsame Erfahrung.
In einem weiteren Aspekt kann das Verfahren 1000 ferner bei 1260 ein Bereitstellen einer elektronischen Aufzeichnung eines Lizenzrechts an digitalen Inhalten (z. B. ein digitales Zertifikat) für einen Anwenderkonto-Datenspeicher, der mit einer Person verbunden ist, auf der Grundlage der Interaktion der Person mit wenigstens einem der Bilder umfassen. Somit können die Zuschauer das Gefühl genießen, ein Recht zu erhalten, digitale Inhalte in anderen Anwendungen (zum Beispiel in einem Videospiel oder in einer Social-Media-Anwendung) zu verwenden, und zwar auf der Grundlage von Interaktionen mit einem immersiven Objekt außerhalb des Bildschirms. Wenn zum Beispiel ein Zuschauer, der eine Lizenz für ein Herr der Ringe Videospiel besitzt, eine immersive Kinopräsentation von Herr der Ringe ansieht, kann er die Möglichkeit haben, bestimmte immersive Objekt außerhalb des Bildschirms, die in dem Videospiel nützlich sind, „aufzuheben“, während er die immersive Präsentation verfolgt. Wenn zum Beispiel der Zuschauer mit einer immersiven Waffe außerhalb des Bildschirms interagiert, indem er sie „aufhebt“ oder dergleichen, kann die Interaktion aufgezeichnet und zu einem Spieleserver für das Spiel Herr der Ringe übertragen werden, der dann eine In-Game-Darstellung der Waffe im Spiele-Account des Mitglieds freigibt. Wenn der Anwender nach Hause zurückkehrt und sich in dem Spieleserver einloggt, ist die Waffe da und kann im Spiel verwendet werden. In einem weiteren Aspekt kann der Datenspeicher ein Computerspeicher in einer AR- oder VR-Ausgabevorrichtung sein oder umfassen, die von dem Zuschauer (d. h. „der jeden Person“) getragen wird. In diesen Ausführungsformen ist keine Übertragung zu einem entfernten Spieleserver erforderlich. Die erworbene Lizenz kann sofort in einem Spiel verwendet werden, das auf der VR- oder AR-Ausgabevorrichtung betrieben wird, oder auf jedem anderen Computer mit einer autorisierten Verbindung zu der VR- oder AR-Ausgabevorrichtung und Zugriff auf das dort gespeicherte Lizenzrecht.
Wie es in 13 gezeigt ist, kann das Verfahren 1000 ferner bei 1310 ein Einbeziehen der VR-Daten zur Ergänzung von Videodaten zur Ausgabe auf dem Anzeigebildschirm umfassen. In einem verwandten Aspekt kann das Verfahren 1000 bei 1320 ein Wiedergeben der Videodaten und der VR-Daten zu unterschiedlichen, nichtüberlappenden Zeiten umfassen, so dass eine der mehreren Personen, die eine VR-Ausgabevorrichtung tragen, Inhalte auf dem Anzeigebildschirm und auf einer VR-Ausgabevorrichtung zu unterschiedlichen Zeiten sehen. Ferner oder alternativ sind die Videodaten und die VR-Daten so konfiguriert, dass sie gleichzeitig abgespielt werden.
In einem weiteren Aspekt kann das Verfahren 1000 bei 1340 ein Einbeziehen von haptischen Steuerdaten in die digitalen Filmstammdaten umfassen, wobei die haptischen Steuerdaten eine haptische Vorrichtung in Abstimmung mit wenigstens entweder den AR-Daten oder den VR-Daten aktivieren. Weitere Einzelheiten können wie oben in Verbindung mit 5B beschrieben sein.
14 ist ein Konzeptblockdiagramm, das Komponenten eines Geräts oder Systems 1400 zur gleichzeitigen Bereitstellung eines immersiven und nicht-immersiven Spiels in einem Kino oder Heimkino, wie hier beschrieben, zeigt. Das Gerät oder System 1400 kann zusätzliche oder detailliertere Komponenten zur Durchführung der hier beschriebenen Funktionen oder Prozessoperationen umfassen. Zum Beispiel können der Prozessor 1410 und der Speicher 1416 eine Instanziierung eines Übertragungsprozesses für immersive Inhalte enthalten, wie es oben beschrieben ist. Wie dargestellt, kann das Gerät oder System 1400 Funktionsblöcke umfassen, die Funktionen repräsentieren können, die durch einen Prozessor, eine Software oder eine Kombination daraus (z. B. Firmware) implementiert sind.
Wie es in 14 gezeigt ist, kann das Gerät oder System 1400 eine elektrische Komponente 1402 zur Kommunikation mit mehreren immersiven Ausgabevorrichtungen umfassen, die jeweils zum Bereitstellen einer AR-Ausgabe oder einer VR-Ausgabe auf der Grundlage eines Datensignals konfiguriert sind, wobei jede der mehreren immersiven Ausgabevorrichtungen in Sichtweite eines Anzeigebildschirms angeordnet sind. Die Komponente 1402 kann ein Mittel zur Kommunikation sein oder umfassen. Das Mittel kann den Prozessor 1410, der mit dem Speicher 1416 verbunden ist, den Empfänger 1414 und den Sender 1414 umfassen, wobei der Prozessor einen Algorithmus auf der Grundlage von Programmanweisungen ausführt, die in dem Speicher gespeichert sind. Ein solcher Algorithmus kann eine Folge detaillierterer Operationen umfassen, zum Beispiel die Einrichtung von mehreren gleichzeitig stattfindenden Datensitzungen mit einer entsprechenden Anzahl der mehreren immersiven Ausgabevorrichtungen, das Authentifizieren von mehreren immersiven Ausgabevorrichtungen, die Einrichtung von gleichzeitig stattfindenden Datensitzungen mit einer 2D-Anzeigevorrichtung, die Authentifizierung der 2D-Anzeigevorrichtung und das Bestätigen, dass ein Inhaltspaket für eine Aufführung durch die mehreren immersiven Ausgabevorrichtungen und durch die 2D-Anzeigevorrichtung autorisiert ist. Das Mittel kann ferner Komponenten der Systeme 400 850, die oben in Verbindung mit den 4 und 8B beschrieben sind, umfassen oder alternativ umfassen.
Das Gerät 1400 kann ferner eine elektrische Komponente 1404 zur Konfigurierung des Datensignals auf der Grundlage digitaler Filmstammdaten umfassen, die wenigstens eine von VR-Daten und AR-Daten enthalten. Die Komponente 1404 kann ein Mittel zur Konfigurierung des Datensignals auf der Grundlage digitaler Filmstammdaten sein oder umfassen, die wenigstens eine von VR-Daten und AR-Daten enthalten. Das Mittel kann den Prozessor 1410 der mit dem Speicher 1416 verbunden ist, umfassen, wobei der Prozessor einen Algorithmus auf der Grundlage von Programmanweisungen ausführt, die in dem Speicher gespeichert sind. Ein solcher Algorithmus kann eine Folge von detaillierteren Operationen umfassen, zum Beispiel eine oder mehrere der Operationen, die in Verbindung mit den 11-13 beschrieben sind, die sich auf die Konfiguration eines Datensignals beziehen.
Das Gerät 1400 kann ferner eine elektrische Komponente 1406 zur gleichzeitigen Übertragung des Datensignals zu den mehreren immersiven Ausgabevorrichtungen umfassen. Die Komponente 1406 kann ein Mittel zur gleichzeitigen Übertragung des Datensignals zu den mehreren immersiven Ausgabevorrichtungen sein oder umfassen. Das Mittel kann den Prozessor 1410, der mit dem Speicher 1416 verbunden ist, den Empfänger 1414 und den Sender 1414 umfassen, wobei der Prozessor einen Algorithmus auf der Grundlage von Programmanweisungen ausführt, die in dem Speicher gespeichert sind. Ein solcher Algorithmus kann eine Folge von detaillierteren Operationen umfassen, zum Beispiel das Auswählen des Übertragungsmediums, ein Mitaufnehmen von wenigstens einem drahtlosen Medium oder einem drahtgebundenen Medium, das Auswählen des Kommunikationsprotokolls für das Übertragungsmedium und das Übertragen des Datensignals in Übereinstimmung mit dem Kommunikationsprotokoll.
Das Gerät 1400 kann optional ein Prozessormodul 1410 mit wenigstens einem Prozessor umfassen, wobei das Gerät 1400 als Datenprozessor konfiguriert ist. Der Prozessor 1410 kann sich in einem solchen Fall über einen Bus 1412 oder eine vergleichbare Kommunikationsverbindung in operativer Kommunikation mit den Modulen 1402-1406 befinden. Der Prozessor 1410 kann die Initiierung und Planung der durch elektrische Komponenten 1402-1406 ausgeführten Prozesse oder Funktionen bewirken.
In verwandten Aspekten kann das Gerät 1400 ein Netzwerkschnittstellenmodul (nicht gezeigt) umfassen, das für die Kommunikation mit Systemkomponenten über ein Computernetzwerk geeignet ist. In weiteren verwandten Aspekten kann das Gerät 1400 optional ein Modul zum Speichern von Informationen umfassen, wie etwa eine Speichervorrichtung 1416. Das computerlesbare Medium oder das Speichermodul 1416 kann operativ über den Bus 1412 oder dergleichen mit den weiteren Komponenten des Geräts 1400 verbunden sein. Das Speichermodul 1416 kann angepasst sein, um computerlesbare Anweisungen und Daten zur Ausführung der Prozesse und des Verhaltens der Module 1402-1406 und Subkomponenten davon oder des Prozessors 1410 oder des Verfahrens 1000 und einer oder mehrerer der zusätzlichen Operationen 1100 1200 oder 1300 zu speichern, die hier offenbart. Das Speichermodul 1416 kann Anweisungen zum Ausführungen von Funktionen der Module 1402-1406 speichern. Während die Module 1402-1406 als außerhalb des Speichers 1416 gezeigt sind, ist klar, dass sich die Module 1402-1406 auch auf dem Speicher 1416 abgelegt sein können.
Das Gerät 1400 kann einen Sender 1412 umfassen, der als drahtloser Sender oder drahtgebundener Sender ausgelegt ist, um ein Kommunikationssignal zu einer VR-Ausgabevorrichtung, einer AR-Ausgabevorrichtung oder einer anderen Systemkomponente wie etwa den in 8B gezeigten Rendereinheiten oder den in den 4 und 8B gezeigt Kinoserver zu übertragen. Ferner kann das Gerät 1400 einen Empfänger 1414 zum Empfangen eines Kommunikationssignals von einer VR-Ausgabevorrichtung, einer AR-Ausgabevorrichtung oder einer anderen Systemkomponente wie etwa den in 8B gezeigten Rendereinheiten oder dem in den 4 und 8B gezeigten Kinoserver umfassen. Der Empfänger 1414 kann einen drahtlosen Empfänger oder einen drahtgebundenen Empfänger umfassen.
Im Hinblick auf das Vorangegangene und als weiteres Beispiel für die Aufbereitung digitaler Stammdaten für die gleichzeitige Darbietung von immersiven und nicht-immersiven gleichzeitigen Inhalten, zeigen die 15-17 Aspekte eines Verfahrens oder von Verfahren zur Konfigurierung digitaler Filmstammdaten, wie sie von einer Produktionsvorrichtung für VR- oder AR-Inhalte oder einem anderen hier beschriebenen Computer durchgeführt werden können. Wie es in 15 gezeigt ist, kann ein Verfahren 1400 bei 1410 das Konfigurieren von digitalen Filmstammdaten durch wenigstens einen Computer umfassen, die wenigstens eine von Augmented Reality (AR)-Daten und Virtual Reality (VR)-Daten zur Bereitstellung einer AR-Ausgabe oder einer VR-Ausgabe mit einer Kinopräsentation mit gleichzeitiger Ausgabe zur Anzeige auf einem 2D-Bildschirm enthalten. Das Verfahren 1500 kann ferner bei 1520 das Aufzeichnen der digitalen Filmstammdaten in einem nicht-transitorischen, computerlesbaren Medium umfassen. Ferner können Einzelheiten des Verfahrens 1500 mit der obigen Beschreibung in Verbindung mit den 1 und 4-9 übereinstimmen.
Das Verfahren 1400 kann irgendeine oder, in beliebiger Reihenfolge, zusätzliche Operationen 1600 oder 1700 umfassen, die in den 16 und 17 gezeigt sind. Jede dieser zusätzlichen Operationen wird nicht notwendigerweise in jeder Ausführungsform des Verfahrens durchgeführt, und das Vorhandensein irgendeiner der Operationen 1600 oder 1700 erfordert nicht notwendigerweise, dass auch eine andere dieser zusätzlichen Operationen durchgeführt wird.
Wie es in 16 gezeigt ist, kann das Verfahren 1500 ferner bei 1610 ein Aufbereiten der AR-Daten zur Ergänzung von Videodaten umfassen, die zur Projektion oder Ausgabe auf dem 2D-Anzeigebildschirm konfiguriert sind, der zur Betrachtung durch mehreren Personen angeordnet ist. Die Daten zur Ausgabe auf dem 2D-Bildschirm können für eine oder mehrere stereoskopische 3D-Ausgaben oder 2D-Ausgaben konfiguriert sein. Das Verfahren 1500 kann ferner bei 1620 ein Aufbereiten der AR-Daten zur kontinuierlichen Ausdehnung der Bilder auf dem Anzeigebildschirm auf Bereiche jenseits der Begrenzung des Anzeigebildschirms umfassen. Beispiele kontinuierlicher Ausdehnung sind oben in Verbindung mit den 3 und 7 beschrieben. Das Verfahren 1500 kann ferner bei 1630 ein Aufbereiten von AR-Daten umfassen, um zu erreichen, dass Bilder, die nicht auf dem Anzeigebildschirm erscheinen, so erscheinen, als befänden sie sich in einem oder um ein Nicht-Bildschirmanzeigevolumen, und zwar für jeden der mehreren Personen, die eine AR-Ausgabevorrichtung tragen. Zum Beispiel können die Daten zur Anzeige von Objekten außerhalb des Bildschirms oder der geometrischen Hüllen wie in Verbindung mit den 3 und 7 beschrieben aufbereitet werden. Das Verfahren 1500 kann ferner bei 1640 ein Aufbereiten von AR-Daten umfassen, so dass die Bilder in einem Koordinatensystem erscheinen, das relativ zu jedem der mehreren Personen definiert ist, die eine AR-Ausgabevorrichtung tragen (d. h. in einem subjektive Koordinatensystem). Das Verfahren 1500 kann ferner bei 1650 ein Aufbereiten von AR-Daten umfassen, so dass die Bilder in einem Koordinatensystem erscheinen, das relativ zu dem Anzeigebildschirm definiert ist (d. h. in eine objektiven Koordinatensystem).
Wie es in 17 gezeigt ist, kann das Verfahren 1500 ferner bei 1710 ein Mitaufnehmen des AR-Daten-Codes umfassen, um einem Anwender die Interaktion mit wenigstens einem der Bilder zu ermöglichen, wodurch sich die AR-Ausgabe in Antwort auf Anwendereingaben ändert. Das Verfahren 1500 kann ferner bei 1720 ein Konfigurieren des Codes umfassen, so dass ein Anwenderinteraktion mit wenigstens einem der Bilder bewirkt, dass sich die auf dem Anzeigebildschirm gezeigte Videoausgabe ändert. Das Verfahren 1500 kann ferner bei 1730 ein Konfigurieren des Codes umfassen, so dass ein Anwenderinteraktion mit wenigstens einem der Bilder bewirkt, dass eine elektronische Aufzeichnung eines Lizenzrechts an den digitalen Inhalten einem Anwenderkonto-Datenspeicher des Anwenders zur Verfügung gestellt wird. Das Verfahren 1500 kann ferner bei 1730 ein Mitaufnehmen von haptischen Steuerdaten in den digitalen Filmstammdaten umfassen, wobei die haptischen Steuerdaten eine haptische Vorrichtung in Abstimmung mit wenigstens einen von den AR-Daten und den VR-Daten aktivieren. In anderen Aspekten kann die Konfigurieren der Filmstammdaten ferner ein Durchführen von Operationen umfassen, um einen der detaillierten Ausgabeeffekte oder zugehörige Funktionen zu implementieren oder zu erleichtern, die oben in Verbindung mit der gleichzeitigen Verwendung von Filmstammdaten in immersiven und nicht-immersiven Darbietungen für ein Publikum aus mehreren Personen beschrieben sind.
18 ist ein Konzeptblockdiagramm, das Komponenten eines Geräts oder Systems 1800 zum Aufbereiten digitaler Stammdaten für gleichzeitige immersive und nicht-immersive Darbietung zeigt, wie es oben beschrieben ist. Das Gerät oder System 1800 kann zusätzliche oder detailliertere Komponenten umfassen, wie es hier beschrieben ist. Wie es dargestellt ist, kann das Gerät oder System 1800 Funktionsblöcke umfassen, die Funktionen repräsentieren, die durch einen Prozessor, eine Software oder eine Kombination daraus implementiert sind (z. B. Firmware).
Wie es in 18 gezeigt ist, kann das Gerät oder System 1800 eine elektrische Komponente 1802 zum Konfigurieren digitaler Filmstammdaten umfassen, die wenigstens eine von Augmented Reality (AR)-Daten und Virtual Reality (VR)-Daten zur Bereitstellung einer AR-Ausgabe oder einer VR-Ausgabe für eine Kinopräsentation gleichzeitig mit einer Ausgabe zur Darstellung auf einem 2D-Bildschirm enthalten. Die Komponente 1802 kann ein Mittel zum Konfigurieren der VR-Ausgabe Daten sein oder umfassen. Das Mittel kann den Prozessor 1810, der mit dem Speicher 1816 verbunden ist, umfassen, wobei der Prozessor einen Algorithmus auf der Grundlage von Programmanweisungen ausführt, die in dem Speicher gespeichert sind. Ein solcher Algorithmus kann eine Folge von detaillierteren Operationen umfassen, zum Beispiel ein Anordnen immersiver Inhalte, ein Anordnen nicht-immersiver Inhalte und ein Definieren eines Regelsatzes zur Koordinierung der Ausgabe von immersiven Inhalten durch eine immersiv Ausgabevorrichtung mit gleichzeitiger Ausgabe nicht-immersiver Inhalte zur Anzeige auf einem 2D-Bildschirm.
Das Gerät 1800 kann ferner eine elektrische Komponente 1804 zum Aufzeichnen der digitalen Filmstammdaten in einem nicht-transitorischen, computerlesbaren Medium umfassen. Die Komponente 1804 kann ein Mittel zum Aufzeichnen der digitalen Filmstammdaten in einem nicht-transitorischen, computerlesbaren Medium sein oder umfassen. Das Mittel kann den Prozessor 1810 umfassen, der mit dem Speicher 1816 verbunden ist, wobei der Prozessor einen Algorithmus auf der Grundlage von Programmanweisungen ausführt, die in dem Speicher gespeichert sind. Ein solcher Algorithmus kann eine Folge von detaillierteren Operationen umfassen, zum Beispiel das Auswählen eines Ausgabeformats für die Stammdaten, das Formatieren der Stammdaten in Übereinstimmung mit dem ausgewählten Ausgabeformat, das Verschlüsseln der formatierten Stammdaten und das Verschlüsseln der verschlüsselten und formatierten Stammdaten in einem nicht-vergänglichen, computerlesbaren Medium gemäß einem Informationsspeicherprotokoll.
Das Gerät 1800 kann optional ein Prozessormodul 1810 mit wenigstens einem Prozessor umfassen, wobei das Gerät 1800 als Datenprozessor ausgelegt ist. Der Prozessor 1810 kann sich in einem solchen Fall über einen Bus 1812 oder eine ähnliche Kommunikationsverbindung in operativer Kommunikation mit den Modulen 1802-1804 befinden. Der Prozessor 1810 kann die Initiierung und Planung der durch elektrische Komponenten 1802-1804 ausgeführten Prozesse oder Funktionen bewirken.
In verwandten Aspekten kann das Gerät 1800 ein Netzwerkschnittstellenmodul 1814 umfassen, das über ein Computernetzwerk zur Kommunikation mit Systemkomponenten betrieben werden kann. Zum Beispiel kann die Komponente 1814 die Verteilung der digitalen Stammdaten zu weiteren Vorrichtungen eines Kommunikations- und/oder Computernetzwerks erleichtern. In alternativen Ausführungsformen kann das Gerät eine Schnittstelle zu einer Vorrichtung zum Aufzeichnen der Inhalte und alternativen Inhalten in einem nicht-transitorischen, computerlesbaren Medium umfassen. In weiteren verwandten Aspekten kann das Gerät 1800 optional ein Modul zum Speichern von Informationen umfassen, wie etwa eine Speichervorrichtung bzw. ein Modul 1816. Das computerlesbare Medium oder das Speichermodul 1816 kann über den Bus 1812 oder dergleichen operativ mit den weiteren Komponenten des Geräts 1800 verbunden werden. Das Speichermodul 1816 kann angepasst werden, um computerlesbare Anweisungen und Daten zur Durchführung der Prozesse und des Verhaltens der Module 1802-1804 und ihrer Subkomponenten oder des Prozessors 1810 oder des Verfahrens 1500 und einer oder mehrerer der hier offenbarten zusätzlichen Operationen 1600 oder 1700 zu speichern, oder von Operationen zur Implementierung oder Erleichterung der oben beschriebenen detaillierten Ausgabeeffekte oder der damit verbundenen Funktionen im Zusammenhang mit der Verwendung von Filmstammdaten in gleichzeitig immersiven und nicht-immersiven Darbietungen für ein Publikum aus mehreren Personen. Das Speichermodul 1816 kann Anweisungen zur Ausführung von Funktionen der Module 1802-1804 speichern. Während die Module 1802-1804 als extern zum Speicher 1816 befindend dargestellt sind, ist klar, dass sie sich auch im Speicher 1816 befinden können.
Weitere Aspekte des Masterings der AR und VR sind im Anhang beschrieben.
Der Fachmann erkennt ferner, dass die verschiedenen beispielhaft logischen Blöcke, Module, Schaltungen und Algorithmusschritte, die in Verbindung mit den hier offenbarten Aspekten beschrieben sind, als elektronische Hardware, Computersoftware oder Kombinationen aus beiden implementiert sein können. Um diese Austauschbarkeit von Hardware und Software zu verdeutlichen, sind oben verschiedene beispielhafte Komponenten, Blöcke, Module, Schaltungen und Schritte allgemein in ihrer Funktionalität beschrieben. Ob eine solche Funktionalität als Hardware oder Software implementiert ist, hängt von der jeweiligen Anwendung und den Designbedingungen des Gesamtsystems ab. Der Fachmann kann die beschriebene Funktionalität für jede einzelne Anwendung verschieden implementieren, aber solche Implementierungsentscheidungen sollten nicht so interpretiert werden, dass sie ein Abweichen vom Schutzbereich der vorliegenden Erfindung zur Folge haben.
Die in dieser Anwendung verwendeten Begriffe „Komponente“, „Modul“, „System“ und dergleichen beziehen sich auf eine computerbezogene Einheit, entweder Hardware, eine Kombination aus Hardware und Software, Software oder Software in Ausführung. Zum Beispiel kann eine Komponente oder ein Modul ein Prozess, der auf einem Prozessor läuft, ein Prozessor, eine Objekt, eine ausführbare Datei, ein Ausführungs-Thread, ein Programm und/oder ein Computer sein. Zur Veranschaulichung kann sowohl eine Anwendung, die auf einem Server läuft, als auch der Server eine Komponente oder ein Modul sein. Eine oder mehrere Komponenten oder Module können Teil eines Prozesses und/oder Ausführungs-Threads sein, und eine Komponente oder ein Modul kann sich auf einem einzigen Computer befinden und/oder auf mehrere Computer verteilt sein.
Verschiedene Aspekte werden in Bezug auf Systeme dargestellt, die eine Anzahl von Komponenten, Module und dergleichen umfassen können. Es sollte klar sein, dass verschiedene Systeme zusätzliche Komponenten, Module, etc. umfassen können und/oder nicht alle der Komponenten, Module, etc. umfassen, die in Verbindung mit den Figuren diskutiert sind. Ferner kann eine Kombination dieser Ansätze verwendet werden. Die verschiedenen, hier offenbarten Aspekte können auf elektrischen Vorrichtungen ausgeführt werden, wie zum Beispiel Vorrichtungen, die Touchscreen-Bildschirmanzeigetechnologien verwenden, Head-up-Anwenderschnittstellen, tragbare Schnittstellen und/oder Maus-Tastatur-Schnittstellen. Beispiele solcher Vorrichtungen umfassen VR-Ausgabevorrichtungen (z. B. VR-Headsets), AR-Ausgabevorrichtungen (z. B. AR-Headsets), Computer (Desktop- und mobile Computer), Smartphones, Personal Digital Assistants (PDAs) und andere elektronische Vorrichtungen, sowohl drahtgebundenen als auch drahtloses.
Ferner können die verschiedenen beispielhaften logischen Blöcke, Module und Schaltungen, die in Verbindung mit den hier offenbarten Aspekten beschrieben sind, mit einem Allzweckprozessor, einem digitalen Signalprozessor (DSP), einer anwendungsspezifischen integrierten Schaltung (ASIC), einem FPGA (field programmable gate array) oder einem anderen programmierbaren Logikbaustein, einer diskreten Gate- oder Transistorlogik, diskreten Hardwarekomponenten oder einer beliebigen Kombination davon, die zur Ausführung der hier beschriebenen Funktionen ausgelegt ist, implementiert oder ausgeführt werden. Ein Allzweckprozessor kann ein Mikroprozessor sein oder, alternativ, kann der Prozessor jeder herkömmliche Prozessor, Controller, Mikrocontroller oder Zustandsmaschine sein. Ein Prozessor kann auch als eine Kombination von Rechengeräten implementiert sein, z. B. eine Kombination aus einem DSP und einem Mikroprozessor, mehrere Mikroprozessoren, ein oder mehrere Mikroprozessoren in Verbindung mit einem DSP-Kern oder jede andere solche Konfiguration.
Die hier offenbarten betrieblichen Aspekte können direkt in einer Hardware, in einem von einem Prozessor ausgeführten Softwaremodul oder in einer Kombination aus beidem enthalten sein. Ein Softwaremodul kann sich in einem RAM-Speicher, einem Flash-Speicher, einem ROM-Speicher, einem EPROM-Speicher, einem EEPROM-Speicher, Registern, einer Festplatte, einem Wechselmedium, einer CD-ROM, einer DVD, einer Blu-ray-Disc, einem Solid-State-Speichergerät (SSD) oder jeder anderen auf dem Gebiet bekannten Speichermedium befinden. Ein beispielhaftes Speichermedium ist mit dem Prozessor verbunden, so dass der Prozessor Informationen von dem lesen Speichermedium und auf dieses schreiben kann. Alternativ kann das Speichermedium in den Prozessor integriert sein. Der Prozessor und das Speichermedium können sich in einem ASIC befinden. Der ASIC kann sich in einem Anwenderterminal befinden. Alternativ können sich der Prozessor und das Speichermedium als diskrete Komponenten auf einem Anwenderterminal befinden.
Ferner kann die eine oder die mehreren Versionen als ein Verfahren, ein Gerät oder ein Herstellungsartikel unter Verwendung von Standardprogrammierungs- und /oder Engineerings-Techniken zur Herstellung von Software, Firmware, Hardware oder einer beliebigen Kombination daraus zur Steuerung eines Computer zur Implementierung der offenbart Aspekte implementiert sein. Nicht-transitorische, computerlesbare Medien können unter anderem magnetische Speichergeräte (z. B. eine Festplatte, eine Diskette, Magnetstreifen... ), optische Platten (z. B. eine CD (compact disk), eine DVD (digital versatile disk, Blu-ray™, ... ), Smartcards, Flasch-Speichergeräte (z. B. eine Karte, ein Stick) und Solid-State-Speichergeräte umfassen, sind jedoch nicht hierauf begrenzt. Natürlich wird der Fachmann erkennen, dass diese Modifikationen auf verschiedene Weise modifiziert werden kann, ohne vom Schutzbereich der offenbarten Aspekte abzuweichen.
Die obige Beschreibung der offenbarten Aspekte soll es jedem Fachmann ermöglichen, die vorliegende Offenbarung auszuführen oder zu nutzen. Verschiedene Modifikationen dieser Aspekte werden dem Fachmann auf dem Gebiet leicht verständlich sein, und die hier definierten allgemeinen Grundsätze können auf andere Ausführungsformen angewendet werden, ohne vom Kern und Schutzbereich der Erfindung abzuweichen. Somit ist die vorliegende Erfindung nicht auf die hier gezeigten Ausführungsformen beschränkt, sondern soll den breitesten Schutzumfang erhalten, der mit den hier offenbarten Prinzipien und Merkmalen in Einklang steht.
Im Hinblick auf die oben beschriebenen beispielhaften Systeme sind Verfahren, die in Übereinstimmung mit dem offenbarten Gegenstand implementiert werden können, mit Bezug auf einige Flussdiagramme beschrieben. Der Einfachheit halber sind die Verfahren als eine Reihe von Blöcken gezeigt und beschrieben. Aber es ist klar, dass der beanspruchte Gegenstand nicht durch die Reihenfolge der Blöcke beschränkt ist, da einige Blöcke in unterschiedlicher Reihenfolge und/oder gleichzeitig mit anderen Blöcken als den hier dargestellten und beschriebenen vorhanden sein können. Ferner müssen nicht alle dargestellten Blöcke erforderlich sein, um die hier beschriebenen Verfahren zu implementieren. Ferner ist klar, dass die hier offenbarten Verfahren auf einem Herstellungsgegenstand gespeichert werden können, um den Transport und die Übertragung solcher Verfahren auf Computer zu erleichtern.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/239782 [0001]
US 62088496 [0053]

Claims

Verfahren, das umfasst: Kommunizieren, durch einen Kinodaten-Verteilungsserver, mit mehreren immersiven Ausgabevorrichtungen, die jeweils auf der Grundlage eines Datensignals eine von einer Augmented Reality (AR)-Ausgabe und einer Virtual Reality (VR)-Ausgabe bereitstellen, wobei sich jede der mehreren immersiven Ausgabevorrichtungen in Sichtweite eines Anzeigebildschirms befindet; Konfigurieren des Datensignals auf der Grundlage digitaler Filmstammdaten, die wenigstens eine von VR-Daten und AR-Daten umfassen; und zeitgleiches Übertragen des Datensignal zu den mehreren immersiven Ausgabevorrichtungen.
Verfahren nach Anspruch 1, das ferner ein Ausgeben eines Bildes auf der Grundlage eines Videodatenbereichs der digitalen Filmstammdaten auf dem Anzeigebildschirm zeitgleich mit der Übertragung umfasst.
Verfahren nach Anspruch 2, das ferner ein Konfigurieren des Datensignals umfasst, so dass, wenn es von den mehreren immersiven Ausgabevorrichtungen empfangen wird, für jede Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, Bilder auf dem Anzeigebildschirm kontinuierlich jenseits einer Begrenzung des Anzeigebildschirms ausgedehnt werden.
Verfahren nach Anspruch 2, das ferner ein Konfigurieren des Datensignals umfasst, so dass, wenn es von den mehreren immersiven Ausgabevorrichtungen empfangen wird, Bilder, die nicht auf dem Anzeigebildschirm erscheinen, so erscheinen, als ob sie sich in einem oder um ein Betrachtungsraumvolumen für jede Person befänden, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachten.
Verfahren nach Anspruch 4, das ferner ein Konfigurieren des Datensignals umfasst, so dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in einem Koordinatensystem erscheinen, das relativ zu der jeden Person definiert ist, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet.
Verfahren nach Anspruch 4, das ferner ein Konfigurieren des Datensignals umfasst, so dass die Bilder, die nicht auf dem Anzeigebildschirm erscheinen, in einem Koordinatensystem erscheinen, das relativ zu dem Anzeigebildschirm definiert ist.
Verfahren nach Anspruch 4, das ferner ein Einbeziehen eines Datensignalcodes umfasst, wodurch jede Person, die die immersive Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, mit wenigstens einem der Bilder interagieren kann, die nicht auf dem Anzeigebildschirm erscheinen, wodurch eine Änderung der immersive Ausgabe bewirkt wird.
Verfahren nach Anspruch 7, das ferner ein Ändern einer auf dem Anzeigebildschirm gezeigten Videoausgabe auf der Grundlage der Interaktion der jeden Person mit wenigstens einem der Bilder umfasst.
Verfahren nach Anspruch 7, das ferner ein Bereitstellen einer elektronischen Aufzeichnung eines Lizenzrecht an digitalen Inhalten für einen Anwenderkonto-Datenspeicher der jeden Person auf der Grundlage der Interaktion der jeden Person mit wenigstens einem der Bilder umfasst.
Verfahren nach Anspruch 9, wobei der Datenspeicher einen Computerspeicher in einer AR-Ausgabevorrichtung, die von der jeden Person getragen wird, umfasst.
Verfahren nach Anspruch 2, wobei das Konfigurieren ein Einbeziehen der AR-Daten zum Ergänzen von Videodaten zur Ausgabe auf dem Anzeigebildschirm umfasst.
Verfahren nach Anspruch 11, das ferner ein Einbeziehen des AR-Daten-Codes zur Steuerung eines Übergangs zwischen der durch eine AR-Ausgabevorrichtung aus den AR-Daten erzeugten AR-Ausgabe und einer auf dem Anzeigebildschirm gezeigten Videoausgabe auf der Grundlage wenigstens teilweise auf einer Geometrie des Anzeigebildschirms und einer relativen Position jeder Person, die die AR-Ausgabe auf einer der mehreren immersiven Ausgabevorrichtungen betrachtet, umfasst.
Verfahren nach Anspruch 2, wobei das Konfigurieren ein Einbeziehen der VR-Daten zur Ergänzung von Videodaten zur Ausgabe auf dem Anzeigebildschirm umfasst.
Verfahren nach Anspruch 13, das ferner ein Wiedergeben der Videodaten und der VR-Daten in unterschiedlichen, nicht überlappenden Zeiten umfasst, so dass diejenigen der mehreren Personen, die eine VR-Ausgabevorrichtung tragen, Inhalte auf dem Anzeigebildschirm und auf einer VR-Ausgabevorrichtung zu unterschiedlichen Zeiten sehen.
Verfahren nach Anspruch 13, wobei die Videodaten und die VR-Daten gleichzeitig abgespielt werden.
Verfahren nach Anspruch 2, wobei die Videodaten nicht-stereoskopische oder stereoskopische zweidimensionale Rahmendaten umfassen.
Verfahren nach Anspruch 2, das ferner ein Einbeziehen von haptischen Steuerdaten in den digitalen Filmstammdaten umfasst, wobei die haptischen Steuerdaten eine haptische Vorrichtung in Abstimmung mit den wenigstens einen von den AR-Daten oder den VR-Daten aktivieren.
Gerät zum Bereitstellen von wenigstens einer von einer Augmented Reality (AR)-Ausgabe und einer Virtual Reality (VR)-Ausgabe für eine zeitgleiche Präsentation für ein gemeinsames Publikum, umfassend: einen Prozessor, einen Speicher, der mit dem Prozessor verbunden ist, und eine stereoskopische Anzeigevorrichtung, die mit dem Prozessor verbunden ist, wobei in dem Speicher Anweisungen gespeichert sind, die, wenn sie durch den Prozessor ausgeführt werden, bewirken, dass das Gerät folgende Schritte ausführt: Kommunizieren mit mehreren immersiven Ausgabevorrichtungen, die jeweils eine von einer Augmented Reality (AR)-Ausgabe und einer Virtual Reality (VR)-Ausgabe auf der Grundlage eines Datensignals bereitstellen, wobei sich jede der mehreren immersiven Ausgabevorrichtungen in Sichtweite eines Anzeigebildschirms befindet; Konfigurieren des Datensignals auf der Grundlage digitaler Filmstammdaten, die wenigstens eine von VR-Daten und AR-Daten umfassen; und zeitgleiches Übertragen des Datensignal zu den mehreren immersiven Ausgabevorrichtungen.
Verfahren, das die Schritte umfasst: Konfigurieren digitaler Filmstammdaten, die wenigstens eine von Augmented Reality (AR)-Daten und Virtual Reality (VR)-Daten umfassen, zum Bereitstellen von einer von einer AR-Ausgabe und einer VR-Ausgabe, umfassend eine Kinopräsentation gleichzeitig mit der Ausgabe zur Anzeige auf einem 2D-Bildschirm; und Aufzeichnen der Filmstammdaten in einem nicht-transitorischen, computerlesbaren Medium.
Verfahren nach Anspruch 19, wobei das Konfigurieren ein Aufbereiten der AR-Daten zum Ergänzen von Videodaten zum Projizieren oder Ausgeben auf dem 2D-Anzeigebildschirm, der zur Betrachtung von mehreren Personen angeordnet ist, umfasst.