DE112019004889T5 - Recheneffiziente Modellauswahl - Google Patents

Recheneffiziente Modellauswahl Download PDF

Info

Publication number
DE112019004889T5
DE112019004889T5 DE112019004889.9T DE112019004889T DE112019004889T5 DE 112019004889 T5 DE112019004889 T5 DE 112019004889T5 DE 112019004889 T DE112019004889 T DE 112019004889T DE 112019004889 T5 DE112019004889 T5 DE 112019004889T5
Authority
DE
Germany
Prior art keywords
environmental
asset
environment
time
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019004889.9T
Other languages
English (en)
Inventor
Bo MORGAN
Mark E. Drummond
Peter Meier
Cameron J. Dunn
John Christopher Russell
Siva Chandra Sivapurapu
Ian M. Richter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE112019004889T5 publication Critical patent/DE112019004889T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

In verschiedenen Implementierungen vermisst eine Vorrichtung eine Szene und präsentiert innerhalb der Szene eine Umgebung der synthetisierten Realität (SR-Umgebung), die ein oder mehrere Assets einschließt, die sich im Laufe der Zeit entwickeln (z. B. Position oder Alter ändern). Das Modellieren einer solchen SR-Umgebung auf verschiedenen Zeitskalen kann insbesondere beim Modellieren der SR-Umgebung über größere Zeitskalen hinweg rechenintensiv sein. Dementsprechend werden in verschiedenen Implementierungen unterschiedliche Modelle verwendet, um den Umgebungszustand der SR-Umgebung zu bestimmen, wenn die SR-Umgebung mit unterschiedlichen Zeitskalen präsentiert wird.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich allgemein auf das Generieren einer Umgebung einer synthetisierten Realität (SR-Umgebung) und insbesondere auf Systeme, Verfahren und Vorrichtungen zum Bestimmen von Umgebungszuständen für eine SR-Umgebung auf eine recheneffiziente Weise.
  • STAND DER TECHNIK
  • Eine physische Umgebung bezieht sich auf eine Welt, die Personen wahrnehmen können und/oder mit der Personen ohne Unterstützung durch elektronische Systeme interagieren können. Physische Umgebungen (z. B. ein physischer Wald) schließen physische Artikel (z. B. physische Bäume, physische Strukturen und physische Lebewesen) ein. Individuen können direkt mit der physischen Umgebung interagieren und/oder diese wahrnehmen, wie etwa durch Berührung, Sehen, Riechen, Hören und Schmecken.
  • Im Gegensatz dazu handelt es sich bei einer Umgebung der synthetisierten Realität (SR) um eine vollständig oder teilweise computererzeugte Umgebung, die Personen erfassen und/oder mit der Personen über ein elektronisches System interagieren können. In einer SR wird eine Teilmenge der Bewegungen einer Person überwacht, und als Reaktion darauf werden ein oder mehrere Attribute eines oder mehrerer virtueller Objekte in der SR-Umgebung auf eine Weise geändert, die einem oder mehreren physikalischen Gesetzen entsprechen. Zum Beispiel kann ein SR-System eine Person erkennen, die einige Schritte vorwärts geht, und als Reaktion darauf Grafiken und Audio anpassen, die der Person auf ähnliche Weise präsentiert werden, wie sich solche Szenen und Geräusche in einer physischen Umgebung ändern würden. Änderungen an einem oder mehreren Attributen von einem oder mehreren virtuellen Objekten in einer SR-Umgebung können auch als Reaktion auf Darstellungen von Bewegung (z. B. Audioanweisungen) vorgenommen werden.
  • Eine Person kann mit einem SR-Objekt interagieren und/oder es mit einem ihrer Sinne wahrnehmen, einschließlich berühren, riechen, sehen, schmecken und hören. Beispielsweise kann eine Person mit akustischen Objekten, die eine Umgebung (z. B. dreidimensionale) oder räumliche akustische Einstellung erzeugen und/oder akustische Transparenz ermöglichen interagieren und/oder diese wahrnehmen. Mehrdimensionale oder räumliche akustische Umgebungen ermöglichen es einem Individuum, diskrete akustische Quellen im mehrdimensionalen Raum wahrzunehmen. Bei der akustischen Transparenz werden Töne aus der physischen Umgebung wahlweise mit oder ohne vom Computer erstelltem Audio berücksichtigt. In einigen SR-Umgebungen kann eine Person nur mit akustischen Objekten interagieren und/oder diese wahrnehmen.
  • Ein Beispiel für SR ist die virtuelle Realität (VR). Bei einer VR-Umgebung handelt es sich um eine simulierte Umgebung, die nur computergenerierte sensorische Eingaben für mindestens einen der Sinne einschließt. Eine VR-Umgebung schließt mehrere virtuelle Objekte ein, mit denen eine Person interagieren und/oder die sie erfassen kann. Eine Person kann virtuelle Objekte in der VR-Umgebung durch eine Simulation einer Teilmenge der Aktionen der Person in der computererzeugten Umgebung und/oder durch eine Simulation der Person oder ihrer Anwesenheit in der computererzeugten Umgebung interagieren und/oder wahrnehmen.
  • Ein weiteres Beispiel für SR ist gemischte Realität (Mixed Reality, MR). Bei einer MR-Umgebung handelt es sich und eine simulierte Umgebung, die dafür ausgelegt ist, computererzeugte sensorische Umgebungen (z. B. virtuelle Objekte) mit sensorischen Umgebungen aus der physischen Umgebung oder einer Darstellung davon zu integrieren. In einem Realitätsspektrum liegt eine Mixed-Reality-Umgebung zwischen einer VR-Umgebung an einem Ende und einer vollständig physischen Umgebung an dem anderen Ende und schließt diese nicht ein.
  • In einigen MR-Umgebungen können sich computererzeugte sensorische Umgebungen an Änderungen der sensorischen Umgebungen aus der physischen Umgebung anpassen. Einige elektronische Systeme zum Darstellen von MR-Umgebungen können auch die Orientierung und/oder die Position in Bezug auf die physische Umgebung überwachen, um eine Interaktion zwischen virtuellen Objekten und realen Objekten (die physische Elemente aus der physischen Umgebung oder deren Darstellungen sind) zu ermöglichen. Beispielsweise kann ein System Bewegungen überwachen, sodass eine virtuelle Pflanze in Bezug auf ein physisches Gebäude als stationär erscheint.
  • Ein Beispiel für gemischte Realität ist Augmented Reality (AR). Eine AR-Umgebung bezieht sich auf eine simulierte Umgebung, in der mindestens ein virtuelles Objekt eine physische Umgebung oder eine Darstellung dieser überlagert. Beispielsweise kann ein elektronisches System eine lichtundurchlässige Anzeige und mindestens einen Bildsensor zum Erfassen von Bildern oder Videos der physischen Umgebung aufweisen, die Darstellungen der physischen Umgebung sind. Das System kombiniert die Bilder oder Videos mit virtuellen Objekten und zeigt die Kombination auf der lichtundurchlässige Anzeige an. Eine Person, die das System verwendet, betrachtet die physische Umgebung indirekt über die Bilder oder das Video der physischen Umgebung und beobachtet die virtuellen Objekte, welche die physische Umgebung überlagern. Wenn ein System einen oder mehrere Bildsensoren verwendet, um Bilder der physischen Umgebung zu erfassen, und die AR-Umgebung unter Verwendung dieser Bilder auf der lichtundurchlässigen Anzeige darstellt, werden die angezeigten Bilder als Video Pass-Through bezeichnet. Alternativ kann ein elektronisches System zum Anzeigen einer AR-Umgebung eine transparente oder halbtransparente Anzeige aufweisen, durch die eine Person die physische Umgebung direkt betrachten kann. Das System kann virtuelle Objekte auf der transparenten oder halbtransparenten Anzeige anzeigen, sodass eine Person, die das System verwendet, die virtuellen Objekte über die physische Umgebung überlagert wahrnimmt. In einem anderen Beispiel kann ein System ein Projektionssystem umfassen, das virtuelle Objekte in die physische Umgebung projiziert. Die virtuellen Objekte können beispielsweise auf eine physische Oberfläche oder als ein Hologramm projiziert werden, sodass eine Person, die das System verwendet, die virtuellen Objekte über die physische Umgebung überlagert wahrnimmt.
  • Eine Augmented Reality-Umgebung kann sich auch auf eine simulierte Umgebung beziehen, in der eine Darstellung einer physischen Umgebung durch computererzeugte sensorische Informationen geändert wird. Beispielsweise kann ein Abschnitt einer Darstellung einer physischen Umgebung grafisch verändert (z. B. vergrößert) werden, sodass der veränderte Abschnitt immer noch repräsentativ für eine Version des/der ursprünglich aufgenommenen Bildes/Bilder ist, diese jedoch nicht originalgetreu wiedergibt. Als ein weiteres Beispiel kann ein System beim Bereitstellen von Video Pass-Through mindestens eines der Sensorbilder ändern, um einen bestimmten Blickwinkel vorzugeben, der sich von dem von den Bildsensoren erfassten Blickwinkel unterscheidet. Als ein zusätzliches Beispiel kann eine Darstellung einer physischen Umgebung verändert werden, indem Abschnitte davon grafisch verdeckt oder ausgeschlossen werden.
  • Ein weiteres Beispiel für gemischte Realität ist Augmented Virtuality (AV). Bei einer AV-Umgebung handelt es sich um eine simulierte Umgebung, in der eine vom Computer erzeugte oder virtuelle Umgebung mindestens einen sensorischen Input aus der physischen Umgebung enthält. Der/Die sensorische(n) Input(s) der physischen Umgebung kann/können Darstellungen von mindestens einer Eigenschaft der physischen Umgebung sein. Beispielsweise kann ein virtuelles Objekt eine Farbe eines physischen Elements annehmen, die von einem oder mehreren Bildsensoren erfasst wird. In einem anderen Beispiel kann ein virtuelles Objekt Merkmale aufweisen, die mit den tatsächlichen Wetterbedingungen in der physischen Umgebung übereinstimmen, wie sie durch Bildgebung, wetterbezogene Sensoren und/oder Online-Wetterdaten erfasst werden. In einem weiteren Beispiel kann ein Augmented-Reality-Wald virtuelle Bäume und Strukturen aufweisen, aber die Lebewesen können Merkmale aufweisen, die getreu der von physischen Lebewesen aufgenommen Bilder reproduziert werden.
  • Viele elektronische Systeme ermöglichen es einer Person, mit verschiedenen SR-Umgebungen zu interagieren und/oder diese wahrzunehmen. Ein Beispiel schließt Head-Mounted-Systeme ein. Ein Head-Mounted-System kann eine undurchsichtige Anzeige und Lautsprecher aufweisen. Alternativ kann ein Head-Mounted-System dazu ausgelegt sein, eine externe Anzeige (z. B. ein Smartphone) aufzunehmen. Das Head-Mounted-System kann (einen) Bildsensor(en) und/oder Mikrofone zum Aufnehmen von Bildern/Videos und/oder zum Aufnehmen von Audio der physischen Umgebung aufweisen. Ein Head-Mounted-System kann auch eine transparente oder halbtransparente Anzeige aufweisen. Die transparente oder halbtransparente Anzeige kann ein Substrat enthalten, durch welches das für Bilder repräsentative Licht auf die Augen einer Person gerichtet wird. Die Anzeige kann LEDs, OLEDs, einen digitalen Lichtprojektor, eine Laserabtastlichtquelle, Flüssigkristall auf Silizium oder eine beliebige Kombination dieser Technologien enthalten. Das Substrat, durch welches das Licht übertragen wird, kann ein Lichtwellenleiter, ein optischer Kombinierer, ein optischer Reflektor, ein holografisches Substrat oder eine beliebige Kombination dieser Substrate sein. In einer Ausführungsform kann die transparente oder halbtransparente Anzeige selektiv zwischen einem undurchsichtigen Zustand und einem transparenten oder halbtransparenten Zustand wechseln. In einem anderen Beispiel kann das elektronische System ein projektionsbasiertes System sein. Ein projektionsbasiertes System kann Netzhautprojektion verwenden, um Bilder auf die Netzhaut einer Person zu projizieren. Alternativ kann ein Projektionssystem auch virtuelle Objekte in eine physische Umgebung projizieren (z. B. auf eine physische Oberfläche oder als ein Hologramm). Andere Beispiele für SR-Systeme schließen Heads-up-Displays, Windschutzscheiben für Kraftfahrzeuge mit der Fähigkeit zur Anzeige von Grafiken, Fenster mit der Fähigkeit zur Anzeige von Grafiken, Linsen mit der Fähigkeit zur Anzeige von Grafiken, Kopfhörer oder Ohrhörer, Lautsprecheranordnungen, Eingabemechanismen (z. B. Controller mit oder ohne haptisches Feedback), Tablets, Smartphones und Desktop- oder Laptop-Computer ein.
  • Um eine SR-Umgebung zu präsentieren, die Assets einschließt, die sich im Laufe der Zeit gemäß einem oder mehreren Modellen entwickeln, kann eine umfangreiche Berechnung erforderlich sein. Dementsprechend wählen verschiedene hierin offenbarte Implementierungen zur Verbesserung der SR-Erfahrung für einen Benutzer ein Modell aus einer Vielzahl von Modellen aus, um die Rechenlast zu reduzieren.
  • Figurenliste
  • Damit die vorliegende Offenbarung von einem Durchschnittsfachmann verstanden werden kann, wird eine detailliertere Beschreibung unter Bezugnahme auf Gesichtspunkte einiger veranschaulichender Implementierungen bereitgestellt, von denen einige in den beigefügten Zeichnungen gezeigt werden.
    • 1A ist ein Blockdiagramm einer beispielhaften Bedienungsarchitektur gemäß einigen Implementierungen.
    • 1B ist ein Blockdiagramm einer beispielhaften Bedienungsarchitektur gemäß einigen Implementierungen.
    • 2 ist ein Blockdiagramm einer beispielhaften Steuerung gemäß einigen Implementierungen.
    • 3 ist ein Blockdiagramm einer beispielhaften HMD gemäß einigen Implementierungen.
    • 4 veranschaulicht eine Szene, wobei eine elektronische Vorrichtung die Szene vermisst.
    • 5A-5H veranschaulichen einen Abschnitt der Anzeige der elektronischen Vorrichtung von 4, die Bilder einer Darstellung der Szene einschließlich einer SR-Umgebung anzeigt.
    • 6 veranschaulicht einen Umgebungszustand gemäß einigen Implementierungen.
    • 7 veranschaulicht ein Blockdiagramm eines Umgebungszustandsgenerators gemäß einigen Implementierungen.
    • 8 ist eine Flussdiagrammdarstellung eines Verfahrens zum Generieren eines Umgebungszustandes einer SR-Umgebung gemäß einigen Implementierungen.
    • 9 ist eine Flussdiagrammdarstellung eines Verfahrens zum Generieren von Umgebungszuständen einer SR-Umgebung gemäß einigen Implementierungen.
  • Gemäß allgemeiner Praxis sind die verschiedenen in den Zeichnungen veranschaulichten Merkmale möglicherweise nicht maßstabsgetreu gezeichnet. Dementsprechend können die Abmessungen der verschiedenen Merkmale der Übersichtlichkeit halber beliebig vergrößert oder verkleinert sein. Zudem können einige der Zeichnungen nicht alle Komponenten eines gegebenen Systems, Verfahrens oder einer gegebenen Vorrichtung darstellen. Schließlich können gleiche Bezugszeichen verwendet werden, um gleiche Merkmale überall in der Patentschrift und den Figuren gleich zu bezeichnen.
  • KURZDARS TELLUNG
  • Verschiedene hierin offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren zum Generieren von Umgebungszuständen einer SR-Umgebung ein.
  • Bei verschiedenen Implementierungen wird das Verfahren durch eine Vorrichtung mit einem oder mehreren Prozessoren und nichtflüchtigen Speichern durchgeführt. Das Verfahren schließt das Erhalten eines ersten Umgebungszustands einer SR-Umgebung, der einer ersten Umgebungszeit zugeordnet ist, ein, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt. Das Verfahren schließt das Bestimmen, gemäß einem ersten Modell und basierend auf dem ersten Umgebungszustand, eines zweiten Umgebungszustands, der einer zweiten Umgebungszeit zugeordnet ist, ein. Das Verfahren schließt das Empfangen einer Eingabe ein, die einen Zeitschritt von der zweiten Umgebungszeit zu einer dritten Umgebungszeit angibt, wobei sich der Zeitschritt von einer Differenz zwischen der ersten Umgebungszeit und der zweiten Umgebungszeit unterscheidet. Das Verfahren schließt das Bestimmen, gemäß einem zweiten Modell, das sich von dem ersten Modell unterscheidet und basierend auf dem zweiten Umgebungszustand, eines dritten Umgebungszustands, welcher der dritten Umgebungszeit zugeordnet ist, ein.
  • Verschiedene hierin offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren zum Generieren eines Umgebungszustands einer SR-Umgebung gemäß einem ausgewählten Modell ein. Bei verschiedenen Implementierungen wird das Verfahren durch eine Vorrichtung mit einem oder mehreren Prozessoren und nichtflüchtigen Speichern durchgeführt. Das Verfahren schließt das Erhalten eines ersten Umgebungszustands einer SR-Umgebung, der einer ersten Umgebungszeit zugeordnet ist, ein, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt. Das Verfahren schließt das Bestimmen eines Zeitschritts von der ersten Umgebungszeit zu einer zweiten Umgebungszeit ein. Das Verfahren schließt das Auswählen, basierend auf dem Zeitschritt, eines Modells aus einer Vielzahl von verschiedenen Modellen ein. Das Verfahren schließt das Bestimmen, gemäß dem ausgewählten Modell, eines zweiten Umgebungszustands der SR-Umgebung, welcher der zweiten Umgebungszeit zugeordnet ist, ein.
  • Gemäß einigen Implementierungen schließt eine elektronische Vorrichtung einen oder mehrere Prozessoren, einen nichtflüchtigen Speicher und ein oder mehrere Programme ein; wobei das eine oder die mehreren Programme in dem nichtflüchtigen Speicher gespeichert sind und so konfiguriert sind, dass sie von dem einen oder den mehreren Prozessoren ausgeführt werden, und dass eine oder die mehreren Programme Anweisungen zum Durchführen oder zum Veranlassen der Durchführung eines der hierin beschriebenen Verfahren einschließen. Gemäß einigen Implementierungen sind in einem nichtflüchtigen computerlesbaren Speichermedium Anweisungen gespeichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, die Vorrichtung veranlassen, eines der hierin beschriebenen Verfahren durchzuführen oder deren Durchführung zu veranlassen. Gemäß einigen Implementierungen schließt die Vorrichtung ein: einen oder mehrere Prozessoren, einen nichtflüchtigen Speicher und Mittel zum Durchführen oder Veranlassen der Durchführung eines der hierin beschriebenen Verfahren.
  • BESCHREIBUNG
  • Zahlreiche Details werden beschrieben, um ein gründliches Verständnis der in den Zeichnungen gezeigten beispielhaften Implementierungen bereitzustellen. Die Zeichnungen zeigen jedoch lediglich einige beispielhafte Gesichtspunkte der vorliegenden Offenbarung und sind daher nicht als einschränkend zu betrachten. Der Durchschnittsfachmann wird erkennen, dass andere geltende Gesichtspunkte bzw. Varianten nicht alle der hierin beschriebenen spezifischen Details einschließen. Außerdem wurden bekannte Systeme, Verfahren, Komponenten, Vorrichtungen und Schaltungen nicht ausführlich beschrieben, um relevantere Gesichtspunkte der hierin beschriebenen beispielhaften Implementierungen nicht zu verunklaren.
  • In verschiedenen Implementierungen vermisst eine Vorrichtung eine Szene und präsentiert innerhalb der Szene eine SR-Umgebung, die ein oder mehrere Assets einschließt, die sich im Laufe der Zeit entwickeln (z. B. Ort oder Alter ändern). Das Modellieren einer solchen SR-Umgebung auf verschiedenen Zeitskalen kann insbesondere beim Modellieren der SR-Umgebung über größere Zeitskalen hinweg rechenintensiv sein. Dementsprechend werden in verschiedenen Implementierungen unterschiedliche Modelle verwendet, um den Umgebungszustand der SR-Umgebung zu bestimmen, wenn die SR-Umgebung mit unterschiedlichen Zeitskalen präsentiert wird.
  • 1A ist ein Blockdiagramm einer beispielhaften Bedienungsarchitektur 100A gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten beispielhaften Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die Bedienungsarchitektur 100A, als ein nicht begrenzendes Beispiel, eine elektronische Vorrichtung 120A ein.
  • In einigen Implementierungen ist die elektronische Vorrichtung 120A konfiguriert, um einem Benutzer SR-Inhalte zu präsentieren. In einigen Ausführungsformen schließt die elektronische Vorrichtung 120A eine geeignete Kombination aus Software, Firmware bzw. Hardware ein. Gemäß einigen Implementierungen präsentiert die elektronische Vorrichtung 120A dem Benutzer über eine Anzeige 122 SR-Inhalte, während der Benutzer physisch in einer physischen Umgebung 103 anwesend ist, die einen Tisch 107 innerhalb eines Sichtfeldes 111 der elektronischen Vorrichtung 120A einschließt. So hält der/die Benutzer(in) in einigen Implementierungen die elektronische Vorrichtung 120A in seiner/ihrer Hand (seinen/ihren Händen). In einigen Implementierungen ist die elektronische Vorrichtung 120A konfiguriert, um, während der Bereitstellung von Augmented Reality-Inhalt (AR-Inhalt), ein AR-Objekt (z. B. einen AR-Würfel 109) darzustellen und ein Video-Pass-Through der physischen Umgebung 103 (z. B. einschließlich einer Darstellung 117 des Tisches 107) auf einer Anzeige 122 zu ermöglichen.
  • 1B ist ein Blockdiagramm einer beispielhaften Bedienungsarchitektur 100B gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten beispielhaften Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die Bedienumgebung 100B eine Steuerung 110 und eine Head-Mounted-Vorrichtung (HMD) 120B ein.
  • In einigen Implementierungen ist die Steuerung 110 konfiguriert, um die Präsentation von einem SR-Inhalt für einen Benutzer zu verwalten und zu koordinieren. In einigen Implementierungen schließt die Steuerung 110 eine geeignete Kombination aus Software, Firmware und/oder Hardware ein. Die Steuerung 110 wird nachstehend in Bezug auf 2 detaillierter beschrieben. In einigen Implementierungen ist die Steuerung 110 eine Rechenvorrichtung, die in Bezug auf die Szene 105 lokal oder entfernt ist. Zum Beispiel ist die Steuerung 110 ein lokaler Server, der sich innerhalb der Szene 105 befindet. In einem anderen Beispiel ist die Steuerung 110 ein entfernter Server, der sich außerhalb der Szene 105 befindet (z. B. ein Cloud-Server, zentraler Server usw.). In einigen Implementierungen ist die Steuerung 110 über einen oder mehrere drahtgebundene oder drahtlose Kommunikationskanäle 144 (z. B. BLUETOOTH, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x usw.) kommunikativ mit der HMD 120B gekoppelt. In einem anderen Beispiel ist die Steuerung 110 innerhalb des Gehäuses der HMD 120B eingeschlossen.
  • In einigen Implementierungen ist die HMD 120B konfiguriert, um dem Benutzer einen SR-Inhalt darzustellen. In einigen Implementierungen schließt die HMD 120B eine geeignete Kombination aus Software, Firmware und/oder Hardware ein. Die HMD 120B wird nachstehend in Bezug auf 3 detaillierter beschrieben. In einigen Implementierungen werden die Funktionalitäten der Steuerung 110 durch die HMD 120B bereitgestellt und/oder mit dieser kombiniert.
  • Gemäß einigen Implementierungen stellt die HMD 120B dem Benutzer einen SR-Inhalt bereit, während der Benutzer virtuell und/oder physisch innerhalb der Szene 105 anwesend ist.
  • In einigen Implementierungen trägt der Benutzer/die Benutzerin die HMD 120B auf seinem/ihrem Kopf. Als solche schließt die HMD 120B eine oder mehrere SR-Anzeigen ein, die zum Anzeigen von SR-Inhalt bereitgestellt sind. Zum Beispiel umschließt die HMD 120B das Sichtfeld des Benutzers in verschiedenen Implementierungen. In einigen Implementierungen, wie in 1A, wird die HMD 120B durch eine tragbare Vorrichtung (wie ein Smartphone oder Tablet) ersetzt, die konfiguriert ist, einen SR-Inhalt darzustellen, wobei der Benutzer die HMD 120B nicht trägt, sondern die Vorrichtung hält, wobei eine Anzeige auf das Sichtfeld des Benutzers gerichtet ist und eine Kamera auf die Szene 105 gerichtet ist. In einigen Implementierungen kann die tragbare Vorrichtung innerhalb eines Gehäuses platziert werden, das am Kopf des Benutzers getragen werden kann. In einigen Implementierungen wird die HMD 120B durch eine SR-Kammer, ein SR-Gehäuse oder einen SR-Raum ersetzt, die für das Präsentieren von SR-Inhalt konfiguriert sind, wobei der Benutzer die HMD 120B nicht trägt oder hält.
  • 2 ist ein Blockdiagramm eines Beispiels der Steuerung 110 gemäß einigen Implementierungen. Während bestimmte Merkmale veranschaulicht sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die Steuerung 110, als ein nicht einschränkendes Beispiel, in einigen Implementierungen eine oder mehrere Verarbeitungseinheiten 202 (z. B. Mikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASIC), Field Programmable Gate Arrays (FPGA), grafische Verarbeitungseinheiten (GPU), zentrale Verarbeitungseinheiten (CPU), Verarbeitungskerne und/oder dergleichen), eine oder mehrere Eingabe/AusgabeVorrichtungen 206 (E/A-Vorrichtungen), eine oder mehrere Kommunikationsschnittstellen 208 (z. B. USB (Universal Serial Bus), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM (Global System for Mobile Communications), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), GPS (Global Positioning System), Infrarot (IR), BLUETOOTH, ZIGBEE und/oder Schnittstellen ähnlicher Art), eine oder mehrere Programmierschnittstellen 210 (z. B. E/A-Schnittstellen), einen Speicher 220 und einen oder mehrere Kommunikationsbusse 204 zum Verbinden dieser und verschiedener anderer Komponenten ein.
  • In einigen Implementierungen schließen der eine oder die mehreren Kommunikationsbusse 204 Schaltungen ein, welche die Kommunikationen zwischen Systemkomponenten miteinander verbinden und steuern. Bei einigen Implementierungen schließen die eine oder die mehreren E/A-Vorrichtungen 206 mindestens eines von einer Tastatur, einer Maus, einem Touchpad, einem Joystick, einem oder mehreren Mikrofonen, einem oder mehreren Lautsprechern, einem oder mehrere Bildsensoren, einem oder mehrere Anzeigen und oder dergleichen ein.
  • Der Speicher 220 schließt Hochgeschwindigkeitsdirektzugriffsspeicher, wie dynamische Direktzugriffsspeicher (DRAM), statische Direktzugriffsspeicher (SRAM), Direktzugriffsspeicher mit doppelter Datenrate (DDR-RAM), oder andere Festkörperspeichervorrichtungen mit Direktzugriff ein. In einigen Implementierungen schließt der Speicher 220 nichtflüchtige Speicher, wie eine oder mehrere Magnetplattenspeichervorrichtungen, optische Plattenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nichtflüchtige Festkörperspeichervorrichtungen ein. Der Speicher 220 schließt optional eine oder mehrere Speichervorrichtungen ein, die entfernt von der einen oder den mehreren Verarbeitungseinheiten 202 angeordnet sind. Der Speicher 220 umfasst ein nichtflüchtiges computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 220 oder das nichtflüchtige computerlesbare Speichermedium des Speichers 220 die folgenden Programme, Module und Datenstrukturen oder eine Untermenge davon, einschließlich eines optionalen Betriebssystems 230 und eines SR-Erfahrungsmoduls 240.
  • Das Betriebssystem 230 schließt Abläufe zur Handhabung verschiedener grundlegender Systemdienste und zur Durchführung hardwareabhängiger Aufgaben ein. In einigen Implementierungen ist das SR-Erfahrungsmodul 240 konfiguriert, um eine oder mehrere SR-Erfahrungen für einen oder mehrere Benutzer zu verwalten und zu koordinieren (z. B. eine einzelne SR-Erfahrung für einen oder mehrere Benutzer oder mehrere SR-Erfahrungen für jeweilige Gruppen von einem oder mehreren Benutzern). Zu diesem Zweck schließt das SR-Erfahrungsmodul 240 in verschiedenen Implementierungen eine Datenerfassungseinheit 242, eine Verfolgungseinheit 244, eine Koordinationseinheit 246 und eine Datenübertragungseinheit 248 ein.
  • In einigen Implementierungen ist die Datenerfassungseinheit 242 konfiguriert, um Daten (z. B. Darstellungsdaten, Interaktionsdaten, Sensordaten, Positionsdaten usw.) mindestens von der HMD 120B aus 1B zu erhalten. Zu diesem Zweck schließt die Datenerfassungseinheit 242 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • In einigen Implementierungen ist die Verfolgungseinheit 244 konfiguriert, um die Szene 105 abzubilden und/oder die Position/Lage von mindestens der HMD 120B in Bezug auf die Szene 105 der 1B zu verfolgen. Zu diesem Zweck schließt die Verfolgungseinheit 244 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • In einigen Implementierungen ist die Koordinationseinheit 246 konfiguriert, um die SR-Erfahrung zu verwalten und zu koordinieren, die dem Benutzer durch die HMD 120B präsentiert wird. Zu diesem Zweck schließt die Koordinationseinheit 246 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • In einigen Implementierungen ist die Datenübertragungseinheit 248 konfiguriert, um Daten (z. B. Darstellungsdaten, Positionsdaten usw.) mindestens an die HMD 120B zu übertragen. Zu diesem Zweck schließt die Datenübertragungseinheit 248 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • Obwohl die Datenerfassungseinheit 242, die Verfolgungseinheit 244, die Koordinationseinheit 246 und die Datenübertragungseinheit 248 als auf einer einzigen Vorrichtung (z. B. der Steuerung 110) befindlich dargestellt werden, versteht es sich, dass sich in anderen Implementierungen jede Kombination der Datenerfassungseinheit 242, der Verfolgungseinheit 244, der Koordinationseinheit 246 und der Datenübertragungseinheit 248 in separaten Rechenvorrichtungen befinden kann.
  • Darüber hinaus ist 2 eher als funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sein können, im Gegensatz zu einem strukturellen Schema der hierin beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Elemente kombiniert und einige Elemente getrennt werden. Zum Beispiel könnten einige Funktionsmodule, die in 2 separat gezeigt sind, in einem einzigen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen implementiert sein. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variiert von einer Implementierung zu einer anderen und hängt in einigen Implementierungen teilweise von der speziellen Kombination von Hardware, Software bzw. Firmware ab, die für eine bestimmte Implementierung gewählt wird.
  • 3 ist ein Blockdiagramm einer beispielhaften HMD 120B gemäß einigen Implementierungen. Während bestimmte Merkmale veranschaulicht sind, wird der Durchschnittsfachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht veranschaulicht worden sind, um relevantere Gesichtspunkte der hierin offenbarten Implementierungen nicht zu verunklaren. Zu diesem Zweck schließt die HMD 120B in einigen Implementierungen als nicht einschränkendes Beispiel eine oder mehrere Verarbeitungseinheiten 302
    (z. B. Mikroprozessoren, ASICs, FPGAs, GPUs, CPUs, Prozessorkerne und/oder dergleichen), eine oder mehrere Ein-/Ausgabevorrichtungen (E/A-Vorrichtungen) und Sensoren 306, eine oder mehrere Kommunikationsschnittstellen 308 (z. B. USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, BLUETOOTH, ZIGBEE und/oder Schnittstellen ähnlicher Art), eine oder mehrere Programmierschnittstellen 310 (z. B. E/A-Schnittstellen), eine oder mehrere SR-Anzeigen 312, einen oder mehrere innen- und/oder außenliegende Bildsensoren 314, einen Speicher 320 und einen oder mehrere Kommunikationsbusse 304 zum Verbinden dieser und verschiedener anderer Komponenten ein.
  • In einigen Implementierungen schließen der eine oder die mehreren Kommunikationsbusse 304 Schaltungen ein, welche die Kommunikationen zwischen Systemkomponenten miteinander verbinden und steuern. In einigen Implementierungen schließen die eine oder die mehreren E/A-Vorrichtungen und Sensoren 306 mindestens eines von einer Trägheitsmesseinheit (IMU: inertial measurement unit), einem Beschleunigungsmesser, einem Gyroskop, einem Thermometer, einem oder mehreren physiologischen Sensoren (z. B. Blutdruckmessgerät, Herzfrequenzmessgerät, Blutsauerstoffsensor, Blutzuckersensor usw.), ein oder mehrere Mikrofone, ein oder mehrere Lautsprecher, einen Haptik-Motor, ein oder mehrere Tiefensensoren (z. B. ein strukturiertes Licht, eine Laufzeit (ToF) oder dergleichen) oder dergleichen ein.
  • In einigen Implementierungen sind die eine oder die mehreren SR-Anzeigen 312 konfiguriert, um dem Benutzer das SR-Erlebnis zu ermöglichen. In einigen Implementierungen entsprechen die eine oder die mehreren SR-Anzeigen 312 einem holografischen Display, DLP-Display (digital light processing), LCD-Display (liquidcrystal display), LCoS-Display (liquid crystal on silicon), OLET-Display (organic light-emitting field-effect transitory), OLED-Display (organic light-emitting diode), SED-Display (surface-conduction electron-emitter), FED-Display (field-emission display), QD-LED-Display (quantum-dot light-emitting diode), MEMS-Display (micro-electro-mechanical system) und/oder ähnlichen Anzeigetypen. In einigen Implementierungen entsprechen die eine oder die mehreren Anzeigen 312 diffraktiven, reflektiven, polarisierten, holographischen usw. Wellenleiteranzeigen. Zum Beispiel schließt die HMD 120B eine einzige SR-Anzeige ein. In einem weiteren Beispiel schließt die HMD 120B eine SR-Anzeige für jedes Auge des Benutzers ein. In einigen Implementierungen sind die eine oder mehreren SR-Anzeigen 312 in der Lage, MR- und VR-Inhalte darzustellen.
  • In einigen Implementierungen sind der eine oder die mehreren Bildsensoren 314 konfiguriert, um Bilddaten zu erfassen, die mindestens einem Teil des Gesichts des Benutzers entsprechen, der die Augen des Benutzers einschließt (und können als Blickverfolgungskamera bezeichnet werden). In einigen Implementierungen sind der eine oder die mehreren Bildsensoren 314 so konfiguriert, dass sie nach vorne gerichtet sind, um Bilddaten zu erfassen, die der Szene entsprechen, wie sie von dem Benutzer gesehen werden würde, wenn die HMD 120B nicht vorhanden wäre (und kann als Szenenkamera bezeichnet werden). Der eine oder die mehreren optionalen Bildsensoren 314 können eine oder mehrere RGB-Kameras (z. B. mit einem komplementären Metalloxid-Halbleiter-Bildsensor (CMOS-Bildsensor) oder einen Bildsensor einer ladungsgekoppelten Vorrichtung (CCD-Bildsensor)), eine oder mehrere Infrarot-Kameras (IR-Kameras), eine oder mehrere ereignisbasierte Kameras und/oder dergleichen einschließen.
  • Der Speicher 320 schließt Hochgeschwindigkeitsdirektzugriffsspeicher, wie DRAM, SRAM, DDR-RAM oder andere Festkörperspeichervorrichtungen mit Direktzugriff, ein. In einigen Implementierungen schließt der Speicher 320 nichtflüchtige Speicher, wie eine oder mehrere Magnetplattenspeichervorrichtungen, optische Plattenspeichervorrichtungen, Flash-Speichervorrichtungen oder andere nichtflüchtige Festkörperspeichervorrichtungen ein. Der Speicher 320 schließt optional eine oder mehrere Speichervorrichtungen ein, die sich entfernt von der einen oder den mehreren Verarbeitungseinheiten 302 befinden. Der Speicher 320 umfasst ein nichtflüchtiges computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 320 oder das nichtflüchtige computerlesbare Speichermedium des Speichers 320 die folgenden Programme, Module und Datenstrukturen oder eine Untermenge davon, einschließlich eines optionalen Betriebssystems 330 und eines SR-Präsentationsmoduls 340.
  • Das Betriebssystem 330 schließt Abläufe zur Handhabung verschiedener grundlegender Systemdienste und zur Durchführung hardwareabhängiger Aufgaben ein. In einigen Implementierungen ist das SR-Präsentationsmodul 340 konfiguriert, um dem Benutzer SR-Inhalte über die eine oder mehreren SR-Anzeigen 312 zu präsentieren. Zu diesem Zweck schließt das SR-Präsentationsmodul 340 in verschiedenen Implementierungen eine Datenerfassungseinheit 342, eine SR-Präsentationseinheit 344, eine SR-Umgebungseinheit 346 und eine Datenübertragungseinheit 348 ein.
  • In einigen Implementierungen ist die Datenerfassungseinheit 342 konfiguriert, um Daten (z. B. Darstellungsdaten, Interaktionsdaten, Sensordaten, Positionsdaten usw.) mindestens von der Steuerung 110 aus 1 zu erhalten. Zu diesem Zweck schließt die Datenerfassungseinheit 342 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • In einigen Implementierungen ist die SR-Präsentationseinheit 344 konfiguriert, um SR-Inhalte über die eine oder die mehreren SR-Anzeigen 312 zu präsentieren. Zu diesem Zweck schließt die SR-Präsentationseinheit 344 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristik und Metadaten dafür ein.
  • In einigen Implementierungen ist die SR-Umgebungseinheit 346 konfiguriert, um einen oder mehrere Umgebungszustände einer SR-Umgebung zu generieren. Zu diesem Zweck schließt die SR-Präsentationseinheit 346 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristik und Metadaten dafür ein.
  • In einigen Implementierungen ist die Datenübertragungseinheit 348 konfiguriert, um Daten (z. B. Darstellungsdaten, Positionsdaten usw.) mindestens an die Steuerung 110 zu übertragen. Zu diesem Zweck schließt die Datenübertragungseinheit 348 in verschiedenen Implementierungen Anweisungen und/oder Logiken sowie Heuristiken und Metadaten dafür ein.
  • Obwohl die Datenerfassungseinheit 342, die SR-Präsentationseinheit 344, die SR-Umgebungseinheit 346 und die Datenübertragungseinheit 348 als auf einer einzigen Vorrichtung (z. B. der HMD 120B von 1B) befindlich dargestellt sind, versteht es sich, dass sich in anderen Implementierungen jede Kombination aus der Datenerfassungseinheit 342, der SR-Präsentationseinheit 344, der SR-Umgebungseinheit 346 und der Datenübertragungseinheit 348 in separaten Rechenvorrichtungen befinden kann.
  • Darüber hinaus ist 3 eher als funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sein können, im Gegensatz zu einem strukturellen Schema der hierin beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Elemente kombiniert und einige Elemente getrennt werden. Zum Beispiel könnten einige Funktionsmodule, die in 3 separat gezeigt sind, in einem einzigen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen implementiert sein. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variiert von einer Implementierung zu einer anderen und hängt in einigen Implementierungen teilweise von der speziellen Kombination von Hardware, Software bzw. Firmware ab, die für eine bestimmte Implementierung gewählt wird.
  • 4 veranschaulicht eine Szene 405, wobei eine elektronischen Vorrichtung 410 die Szene 405 vermisst. Die Szene 405 schließt einen Tisch 408 und eine Wand 407 ein.
  • Die elektronische Vorrichtung 410 zeigt auf einer Anzeige eine Darstellung der Szene 415 an, einschließlich einer Darstellung des Tisches 418 und einer Darstellung der Wand 417. In verschiedenen Implementierungen wird die Darstellung der Szene 415 basierend auf einem Bild der Szene generiert, das mit einer Szenenkamera der elektronischen Vorrichtung 410 aufgenommen wurde, die ein Sichtfeld aufweist, das auf die Szene 405 gerichtet ist. Die Darstellung der Szene 415 schließt ferner eine SR-Umgebung 409 ein, die auf der Darstellung des Tisches 418 angezeigt wird.
  • Wenn sich die elektronische Vorrichtung 410 durch die Szene 405 bewegt, ändert sich die Darstellung der Szene 415 gemäß der Änderung der Perspektive der elektronischen Vorrichtung 410. Ferner ändert sich die SR-Umgebung 409 entsprechend der Änderung der Perspektive der elektronischen Vorrichtung 410. Dementsprechend erscheint die SR-Umgebung 409 in einer festen Beziehung in Bezug auf die Darstellung des Tisches 418, wenn sich die elektronische Vorrichtung 410 bewegt.
  • 5A veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die ein erstes Bild 500A der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 anzeigt. In 5A ist die SR-Umgebung 409 durch einen ersten Umgebungszustand definiert und ist einer ersten Umgebungszeit (z. B. 1) zugeordnet. Der erste Umgebungszustand gibt die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung 409 an und gibt ferner einen oder mehrere Zustände des einen oder der mehreren Assets an. In verschiedenen Implementierungen ist der Umgebungszustand ein Datenobjekt, wie beispielsweise eine XML-Datei.
  • Dementsprechend schließt die SR-Umgebung 409, die im ersten Bild 500A angezeigt wird, eine Vielzahl von Assets ein, wie durch den ersten Umgebungszustand definiert. In 5A schließt die SR-Umgebung 409 einen ersten Baum 511 mit einer ersten Höhe 591 und einen zweiten Baum 512 mit einer zweiten Höhe 592 ein. Die SR-Umgebung 409 schließt ein erstes Eichhörnchen 521 an einer ersten Position 581 und ein zweites Eichhörnchen 522 an einer zweiten Position 582 ein. Die SR-Umgebung schließt eine erste Eichel 531 ein.
  • Der erste Umgebungszustand gibt die Einbeziehung des ersten Baums 511 an und definiert einen oder mehrere Zustände des ersten Baums 511. Zum Beispiel gibt der erste Umgebungszustand ein erstes Alter des ersten Baums 511 und eine erste Position des ersten Baums 511 an. Der erste Umgebungszustand gibt die Einbeziehung des zweiten Baums 512 an und definiert einen oder mehrere Zustände des zweiten Baums 512. Zum Beispiel gibt der erste Umgebungszustand ein erstes Alter des zweiten Baums 512 und eine erste Position des zweiten Baums 512 an.
  • Der erste Umgebungszustand gibt die Einbeziehung des ersten Eichhörnchens 521 an und definiert einen oder mehrere Zustände des ersten Eichhörnchens 521. Zum Beispiel gibt der erste Umgebungszustand ein erstes Alter des ersten Eichhörnchens 521, eine erste Position des ersten Eichhörnchens 521 und einen ersten Bewegungsvektor des ersten Eichhörnchens 521 an, der angibt, dass sich das erste Eichhörnchen 521 in Richtung der ersten Eichel 531 bewegt. Der erste Umgebungszustand gibt die Einbeziehung des zweiten Eichhörnchens 522 an und definiert einen oder mehrere Zustände des zweiten Eichhörnchens 522. Zum Beispiel gibt der erste Umgebungszustand ein erstes Alter des zweiten Eichhörnchens 522, eine erste Position des zweiten Eichhörnchens 522 und einen ersten Bewegungsvektor des zweiten Eichhörnchens 522 an, der angibt, dass sich das zweite Eichhörnchen 522 in Richtung des zweiten Baums 512 bewegt.
  • Der erste Umgebungszustand gibt die Einbeziehung der ersten Eichel 531 an und definiert einen oder mehrere Zustände der ersten Eichel 531. Zum Beispiel gibt der erste Umgebungszustand eine erste Position der ersten Eichel 531 und einen ersten Haltezustand der ersten Eichel 531 an, der angibt, dass die erste Eichel 531 nicht von einem Eichhörnchen gehalten wird.
  • Das erste Bild 500A schließt ferner einen Zeitindikator 540 und eine Vielzahl von Zeitskalen-Affordanzen 551-554 ein. Die Vielzahl von Zeitskalen-Affordanzen 551-554 schließt eine Pause-Affordanz 551, eine Abspielen-Affordanz 552, eine Schnell-Abspielen-Affordanz 553 und eine Schneller-Abspielen-Affordanz 554 ein. In 5A gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 1 an. Ferner ist die Pause-Affordanz 551 gerade ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • 5B zeigt einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die ein zweites Bild 500B der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 als Reaktion auf eine Benutzerauswahl der Abspielen-Affordanz 552 und nach einer Bildzeit (z. B. dem Kehrwert der Bildrate der Anzeige anzeigt) anzeigt. In 5B zeigt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 2 an (z. B. einen ersten Zeitschritt von 1 im Vergleich zu 5A). In 5B ist die Abspielen-Affordanz 552 gerade ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5B ist die SR-Umgebung 409 durch einen zweiten Umgebungszustand definiert und ist einer zweiten Umgebungszeit zugeordnet (z. B. 2). In verschiedenen Implementierungen wird der zweite Umgebungszustand gemäß einem ersten Modell und basierend auf dem ersten Umgebungszustand generiert.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen eines zweiten Alters des ersten Baums 511 durch Addieren des ersten Zeitschritts (z. B. 1) zu dem ersten Alter des ersten Baums 511, das Bestimmen eines zweiten Alters des zweiten Baums 512 durch Addieren des ersten Zeitschritts zu dem ersten Alter des zweiten Baums 512, das Bestimmen eines zweiten Alters des ersten Eichhörnchens 521 durch Addieren des ersten Zeitschritts zu dem ersten Alter des ersten Eichhörnchens 521 und das Bestimmen eines zweiten Alters des zweiten Eichhörnchens 522 durch Addieren des ersten Zeitschritts zu dem ersten Alter des zweiten Eichhörnchens 522, ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen einer zweiten Position des ersten Baums 511 durch Kopieren der ersten Position des ersten Baums 511 und das Bestimmen einer zweiten Position des zweiten Baums 512 durch Kopieren der ersten Position des zweiten Baums 512 ein. Somit gibt das erste Modell an, dass der erste Baum 511 und der zweite Baum 512 (z. B. Assets mit einem Asset-Typ „BAUM“) ihre Position nicht ändern.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen einer zweiten Position des ersten Eichhörnchens 521 durch Anpassen der ersten Position des ersten Eichhörnchens 521 gemäß dem ersten Bewegungsvektors des ersten Eichhörnchens 521 und das Bestimmen einer zweiten Position des zweiten Eichhörnchens 522 durch Anpassen der ersten Position des zweiten Eichhörnchens 522 gemäß dem ersten Bewegungsvektor des zweiten Eichhörnchens 522 ein. Somit gibt das erste Modell an, dass das erste Eichhörnchen 521 und das zweite Eichhörnchen 522 (z. B. Assets mit einem Asset-Typ „LEBEWESEN“) die Position gemäß einem Bewegungsvektor ändern.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen eines zweiten Bewegungsvektors des ersten Eichhörnchens 521 basierend auf der Nähe anderer Assets zu der zweiten Position des ersten Eichhörnchens 521 und das Bestimmen eines zweiten Bewegungsvektors des zweiten Eichhörnchens 522 basierend auf der Nähe anderer Assets zu der zweiten Position des zweiten Eichhörnchens 522 ein. Zum Beispiel gibt das erste Modell an, dass das ersten Eichhörnchen 521 und das zweiten Eichhörnchen 522 (z. B. Assets mit einem Asset-Typ von „LEBEWESEN“ und einem Asset-Subtyp von „EICHHÖRNCHEN“) über Bewegungsvektoren verfügen, die sie zu nahegelegenen Assets (z. B. Bäumen, Eicheln oder anderen Eichhörnchen) führen.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands das Bestimmen einer zweiten Position der ersten Eichel 531 basierend auf der ersten Position der ersten Eichel 531 und dem ersten Haltezustand der ersten Eichel 531 ein. Zum Beispiel gibt das erste Modell an, dass die erste Eichel 531 (z. B. Assets mit einem Asset-Typ „EICHEL“) ihre Position nicht ändert, wenn der Haltezustand angibt, dass die erste Eichel 531 nicht gehalten wird, diese sich aber gemäß einer Änderung der Position eines Assets (z. B. eines Eichhörnchens), das die erste Eichel 531 hält, ändert.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands das Bestimmen eines zweiten Haltezustands der ersten Eichel 531 basierend auf der zweiten Position der ersten Eichel 531 und der zweiten Position des ersten Eichhörnchens 521 und der zweiten Position des zweiten Eichhörnchens 522, ein. Zum Beispiel gibt das erste Modell an, dass die erste Eichel 531 (z. B. Assets mit einem Asset-Typ „EICHEL“) ihren Haltezustand ändert, um anzugeben, dass sie von einem bestimmten Asset mit einem Asset-Typ „LEBEWESEN“ und einem Asset-Subtyp „EICHHÖRNCHEN“ gehalten wird, wenn sich dieses bestimmte Asset an derselben Position wie die erste Eichel 531 befindet.
  • Dementsprechend hat sich in 5B im Vergleich zu 5A das erste Eichhörnchen 521 zu einer dritten Position 583 bewegt, die sich näher an der ersten Eichel 531 befindet, und das zweite Eichhörnchen 522 hat sich zu einer Position bewegt, die sich näher an dem zweiten Baum 512 befindet.
  • 5C veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die nach einer weiteren Bildzeit ein drittes Bild 500C der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 anzeigt. In 5C gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 3 an (z. B. der erste Zeitschritt von 1 im Vergleich zu 5B). In 5C bleibt die Abspielen-Affordanz 552 weiterhin ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5C ist die SR-Umgebung 409 durch einen dritten Umgebungszustand definiert und einer dritten Umgebungszeit zugeordnet. In verschiedenen Implementierungen wird der dritte Umgebungszustand gemäß dem ersten Modell und basierend auf dem zweiten Umgebungszustand generiert.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen eines dritten Alters des ersten Baums 511 durch Addieren des ersten Zeitschritts (z. B. 1) zu dem zweiten Alter des ersten Baums 511, das Bestimmen eines dritten Alters des zweiten Baums 512 durch Addieren des ersten Zeitschritts zu dem zweiten Alter des zweiten Baums 512, das Bestimmen eines dritten Alters des ersten Eichhörnchens 521 durch Addieren des ersten Zeitschritts zu dem zweiten Alter des ersten Eichhörnchens 521 und das Bestimmen eines dritten Alters des zweiten Eichhörnchens 522 durch Addieren des ersten Zeitschritts zu dem zweiten Alter des zweiten Eichhörnchens 522, ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen einer zweiten Position des ersten Baums 511 durch Kopieren der zweiten Position des ersten Baums 511 und das Bestimmen einer dritten Position des zweiten Baums 512 durch Kopieren der zweiten Position des zweiten Baums 512 ein. Somit gibt das erste Modell an, dass der erste Baum 511 und der zweite Baum 512 (z. B. Assets mit einem Asset-Typ „BAUM“) ihre Position nicht ändern.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen einer dritten Position des ersten Eichhörnchens 521 durch Anpassen der zweiten Position des ersten Eichhörnchens 521 gemäß dem zweiten Bewegungsvektors des ersten Eichhörnchens 521 und das Bestimmen einer dritten Position des zweiten Eichhörnchens 522 durch Anpassen der zweiten Position des zweiten Eichhörnchens 522 gemäß dem zweiten Bewegungsvektor des zweiten Eichhörnchens 522, ein. Somit gibt das erste Modell an, dass das erste Eichhörnchen 521 und das zweite Eichhörnchen 522 (z. B. Assets mit einem Asset-Typ „LEBEWESEN“) die Position gemäß einem Bewegungsvektor ändern.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands, gemäß dem ersten Modell, das Bestimmen eines dritten Bewegungsvektors des ersten Eichhörnchens 521 basierend auf der Nähe anderer Assets zu der dritten Position des ersten Eichhörnchens 521 und das Bestimmen eines dritten Bewegungsvektors des zweiten Eichhörnchens 522 basierend auf der Nähe anderer Assets zu der dritten Position des zweiten Eichhörnchens 522, ein. Zum Beispiel gibt das erste Modell an, dass das ersten Eichhörnchen 521 und das zweiten Eichhörnchen 522 (z. B. Assets mit einem Asset-Typ von „LEBEWESEN“ und einem Asset-Subtyp von „EICHHÖRNCHEN“) über Bewegungsvektoren verfügen, die sie zu nahegelegenen Assets (z. B. Bäumen, Eicheln oder anderen Eichhörnchen) führen.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands das Bestimmen einer dritten Position der ersten Eichel 531 basierend auf der zweiten Position der ersten Eichel 531 und dem zweiten Haltezustand der ersten Eichel 531 ein. Zum Beispiel gibt das erste Modell an, dass die erste Eichel 531 (z. B. Assets mit einem Asset-Typ „EICHEL“) ihre Position nicht ändert, wenn der Haltezustand angibt, dass die erste Eichel 531 nicht gehalten wird, diese sich aber gemäß einer Änderung der Position eines Assets (z. B. eines Eichhörnchens), das die erste Eichel 531 hält, ändert.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands das Bestimmen eines dritten Haltezustands der ersten Eichel 531 basierend auf der dritten Position der ersten Eichel 531 und der dritten Position des ersten Eichhörnchens 521 und der dritten Position des zweiten Eichhörnchens 522 ein. Somit gibt das erste Modell an, dass die erste Eichel 531 (z. B. Assets mit einem Asset-Typ „EICHEL“) ihren Haltezustand ändert, um anzugeben, dass sie von einem bestimmten Asset mit einem Asset-Typ „LEBEWESEN“ und einem Asset-Subtyp „EICHHÖRNCHEN“ gehalten wird, wenn sich dieses bestimmte Asset an derselben Position wie die erste Eichel 531 befindet.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands das Bestimmen ein, dass ein Asset ein neues Asset erzeugt. Zum Beispiel gibt in verschiedenen Implementierungen das erste Modell an, dass Assets mit einem Asset-Typ von „BAUM“ eine Wahrscheinlichkeit (die auf dem aktuellen Alter des Assets basieren kann) aufweisen, ein Asset mit einem Asset-Typ von „EICHEL“ zu erzeugen.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands das Bestimmen ein, dass ein Asset erlischt. Zum Beispiel gibt in verschiedenen Implementierungen das erste Modell an, dass Assets mit einem Asset-Typ von „EICHHÖRNCHEN“ erlöschen, wenn das Alter des Assets einen Schwellenwert erreicht. Als weiteres Beispiel gibt das erste Modell in verschiedenen Implementierungen an, dass Assets mit einem Asset-Typ von „BAUM“ eine Wahrscheinlichkeit (die auf dem aktuellen Alter des Assets basieren kann) des Erlöschens aufweisen.
  • In 5C hat sich, im Vergleich zu 5B, die Position des ersten Eichhörnchens 521 zu einer fünften Position 585 der ersten Eichel 531 bewegt und das zweite Eichhörnchen 522 hat sich zu einer sechsten Position bewegt, die sich noch näher an dem zweiten Baum 512 befindet. Ferner schließt die SR-Umgebung 409 ein neues Asset, eine zweite Eichel 532, das von dem zweiten Baum 512 erzeugt wurde, ein.
  • 5D veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die nach einer weiteren Bildzeit ein viertes Bild 500D der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 anzeigt. In 5D gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 4 an (z. B. ein Zeitschritt von 1 im Vergleich zu 5C). In 5D bleibt die Abspielen-Affordanz 552 weiterhin ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5D ist die SR-Umgebung 409 durch einen vierten Umgebungszustand definiert und einer vierten Umgebungszeit zugeordnet. In verschiedenen Implementierungen wird der vierte Umgebungszustand gemäß dem ersten Modell und basierend auf dem dritten Umgebungszustand generiert. In verschiedenen Implementierungen wird das Bestimmen des vierten Umgebungszustands, gemäß dem ersten Modell, und basierend auf dem dritten Umgebungszustand durchgeführt, wie vorstehend in Bezug auf das Bestimmen des dritten Umgebungszustands gemäß dem ersten Modell und basierend auf dem zweiten Umgebungszustand beschrieben.
  • In 5D hat, im Vergleich zu 5C, das erste Eichhörnchen 521 (das die erste Eichel 531 hält) seine Position weiter von dem ersten Baum 511 weg bewegt und das zweite Eichhörnchen 522 hat sich zu einer siebten Position 587 bewegt, die sich näher an der zweiten Eichel 532 befindet.
  • 5E veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, der ein fünftes Bild 500E der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 als Reaktion auf eine Benutzerauswahl der Schnell-Abspielen-Affordanz 553 und nach einer Bildzeit anzeigt. In 5E gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 1.000.004 an (z.B. ein zweiter Zeitschritt von 1.000.000 im Vergleich zu 5D). In 5E ist die Schnell-Abspielen-Affordanz 553 gerade ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5E ist die SR-Umgebung 409 durch einen fünften Umgebungszustand definiert und einer fünften Umgebungszeit zugeordnet. Da in verschiedenen Implementierungen der zweite Zeitschritt zwischen der vierten Umgebungszeit und der fünften Umgebungszeit so viel größer ist als der erste Zeitschritt zwischen z. B. der ersten Umgebungszeit und der zweiten Umgebungszeit, wird der fünfte Umgebungszustand gemäß einem zweiten Modell generiert, das sich von dem ersten Modell unterscheidet und auf dem vierten Umgebungszustand basiert.
  • Insbesondere wird der fünfte Umgebungszustand nicht eine Million Mal gemäß der Anwendung des ersten Modells bestimmt, sondern einmal gemäß der Anwendung des zweiten Modells.
  • In verschiedenen Implementierungen ist das zweite Modell recheneffizienter als das erste Modell. Nach solch einem langen Zeitraum können bestimmte Zustände bestimmter Assets des vierten Umgebungszustands möglicherweise nicht mehr nützlich sein, um die entsprechenden Zustände des fünften Umgebungszustands zu bestimmen. Während beispielsweise die Position des ersten Eichhörnchens 521 im ersten Umgebungszustand im ersten Modell verwendet wird, um die Position des ersten Eichhörnchens 521 im zweiten Umgebungszustand zu bestimmen, wird die Position des ersten Eichhörnchens 521 im vierten Umgebungszustand nicht verwendet, um die Position des ersten Eichhörnchens 521 im fünften Umgebungszustand zu bestimmen, und daher ist das zweite Modell recheneffizienter als das erste Modell.
  • In verschiedenen Implementierungen schließt das Bestimmen des fünften Umgebungszustands, gemäß dem zweiten Modell, das Bestimmen eines fünften Alters des ersten Baums 511 durch Addieren des zweiten Zeitschritts (z. B. 1.000.000) zu dem vierten Alter des ersten Baums 511, das Bestimmen eines fünften Alters des zweiten Baums 512 durch Addieren des zweiten Zeitschritts zu dem vierten Alter des zweiten Baums 512, das Bestimmen eines fünften Alters des ersten Eichhörnchens 521 durch Addieren des zweiten Zeitschritts zum vierten Alter des ersten Eichhörnchens 521 und das Bestimmen eines fünften Alters des zweiten Eichhörnchens 522 durch Addieren des zweiten Zeitschritts zum vierten Alter des zweiten Eichhörnchens 522, ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des fünften Umgebungszustands, gemäß dem zweiten Modell, das Bestimmen einer fünften Position des ersten Baums 511 durch Kopieren der vierten Position des ersten Baums 511 und das Bestimmen einer fünften Position des zweiten Baums 512 durch Kopieren der vierten Position des zweiten Baums 512 ein. Somit gibt das zweite Modell an, dass der erste Baum 511 und der zweite Baum 512 (z. B. Assets mit einem Asset-Typ „BAUM“) ihre Position nicht ändern.
  • In verschiedenen Implementierungen schließt das Bestimmen des fünften Umgebungszustands gemäß dem zweiten Modell das Bestimmen einer fünften Position des ersten Eichhörnchens 521 und das Bestimmen einer fünften Position des zweiten Eichhörnchens 522 ein. Während gemäß dem ersten Modell die fünfte Position des ersten Eichhörnchens 521 und die fünfte Position des zweiten Eichhörnchens 522 basierend auf ihren jeweiligen vierten Positionen und vierten Bewegungsvektoren bestimmt werden, wird in verschiedenen Implementierungen die fünfte Position des ersten Eichhörnchens 521 und die fünfte Position des zweiten Eichhörnchens 522 unabhängig von ihren jeweiligen vierten Positionen und vierten Bewegungsvektoren bestimmt. Zum Beispiel schließt in verschiedenen Implementierungen das Bestimmen der fünften Position des ersten Eichhörnchens 521 und das Bestimmen der fünften Position des zweiten Eichhörnchens 522 das zufällige Auswählen von Positionen der SR-Umgebung ein. In einigen Ausführungsformen werden die jeweiligen fünften Positionen basierend auf einer Gleichverteilung über die SR-Umgebung ausgewählt. In einigen Ausführungsformen werden die jeweiligen fünften Positionen basierend auf einer Wahrscheinlichkeitsverteilung (die auf dem Vorhandensein anderer Assets basieren kann) ausgewählt. Zum Beispiel ist in einigen Ausführungsformen die Wahrscheinlichkeit höher, dass sich das erste Eichhörnchen 521 und das zweite Eichhörnchen 522 näher zu anderen Assets befinden.
  • Wie vorstehen erwähnt, schließt das Bestimmen eines Umgebungszustands gemäß dem ersten Modell in verschiedenen Implementierungen das Bestimmen von Bewegungsvektoren des ersten Eichhörnchens 521 und des zweiten Eichhörnchens 522 ein. Wie ebenfalls vorstehend erwähnt, werden jedoch in verschiedenen Implementierungen die Positionen des ersten Eichhörnchens 521 und des zweiten Eichhörnchens 522 unabhängig von ihren jeweiligen Bewegungsvektoren bestimmt. Somit schließt das Bestimmen des fünften Umgebungszustands in verschiedenen Implementierungen nicht das Bestimmen von Bewegungsvektoren des ersten Eichhörnchens 521 und des zweiten Eichhörnchens 522 ein. In verschiedenen Implementierungen schließt das Bestimmen des fünften Umgebungszustands das Bestimmen der Bewegungsvektoren als Dummy- oder Standardwerte ein. Somit schließt das Bestimmen des fünften Umgebungszustands in verschiedenen Implementierungen das Bestimmen der Bewegungsvektoren unabhängig von der Nähe anderer Assets zur Position der Eichhörnchens ein.
  • Wie vorstehend erwähnt, schließt das Bestimmen eines Umgebungszustands, gemäß dem ersten Modell, in verschiedenen Implementierungen das Bestimmen der Position und/oder des Haltezustands eines Assets mit einem Asset-Typ von „EICHEL“ ein. Im Gegensatz dazu schließt das Bestimmen des fünften Umgebungszustands, gemäß dem zweiten Modell, in verschiedenen Implementierungen das Entfernen von Assets des Asset-Typs „EICHEL“ und das potenzielle Ersetzen derselben durch neue Assets des Asset-Typs „EICHEL“ basierend auf der Anzahl von Assets mit dem Asset-Typ „BAUM“ (und ihren jeweiligen Wahrscheinlichkeiten, ein Asset mit einem Asset-Typ „EICHEL“ zu erzeugen) ein.
  • Somit haben in 5E, im Vergleich zu 5D, das erste Eichhörnchen 521 und das zweite Eichhörnchen 522 ihre Position vollständig geändert, der zweite Baum 512 ist auf eine dritte Höhe 593 gewachsen, die erste Eichel 531 und die zweite Eichel 532 sind verschwunden und eine dritte Eichel 533 ist dazugekommen.
  • 5F veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die ein sechstes Bild 500F der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 nach einer weiteren Bildzeit anzeigt. In 5F gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 2.000.004 an (z. B. ein Zeitschritt von 1.000.000 im Vergleich zu 5E). In 5F bleibt die Schnell-Abspielen-Affordanz 553 weiterhin ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5F ist die SR-Umgebung 409 durch einen sechsten Umgebungszustand definiert und einer sechsten Umgebungszeit zugeordnet. In verschiedenen Implementierungen wird der sechste Umgebungszustand gemäß dem zweiten Modell und basierend auf dem fünften Umgebungszustand generiert. In verschiedenen Implementierungen wird das Bestimmen des sechsten Umgebungszustands gemäß dem zweiten Modell und basierend auf dem fünften Umgebungszustand durchgeführt, wie vorstehend in Bezug auf das Bestimmen des fünften Umgebungszustands gemäß dem zweiten Modell und basierend auf dem vierten Umgebungszustand beschrieben.
  • In 5F haben, im Vergleich zu 5E, das erste Eichhörnchen 521 und das zweite Eichhörnchen ihre Position erneut vollständig geändert, der zweite Baum 512 ist erneut gewachsen, auf eine vierten Höhe 594, und eine dritte Eichel 533 ist verschwunden.
  • 5G veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die ein siebtes Bild 500G der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 als Reaktion auf eine Benutzerauswahl der Schneller-Abspielen-Affordanz 553 nach einer Bildzeit anzeigt. In 5G gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 10.002.000.004 an (z. B. ein dritter Zeitschritt von 10.000.000.000 im Vergleich zu 5F). In 5G ist die Schneller-Abspielen-Affordanz 554 gerade ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5G ist die SR-Umgebung 409 durch einen siebten Umgebungszustand definiert und einer siebten Umgebungszeit zugeordnet. Da in verschiedenen Implementierungen der dritte Zeitschritt zwischen der sechsten Umgebungszeit und der siebten Umgebungszeit so viel größer ist als der zweite Zeitschritt zwischen z. B. der vierten Umgebungszeit und der fünften Umgebungszeit, wird der siebte Umgebungszustand gemäß einem dritten Modell generiert, das sich von dem zweiten Modell unterscheidet und auf dem sechsten Umgebungszustand basiert.
  • Insbesondere wird anstatt den siebten Umgebungszustand gemäß der Anwendung des ersten Modells zehn Milliarden Mal (oder gemäß dem zweiten Modell zehntausend Mal) zu bestimmen, der fünfte Umgebungszustand gemäß der Anwendung des dritten Modells einmal generiert.
  • In verschiedenen Implementierungen ist das dritte Modell recheneffizienter als das zweite Modell. Nach solch einem langen Zeitraum können bestimmte Zustände bestimmter Assets des sechsten Umgebungszustands möglicherweise nicht mehr nützlich sein, um den fünften Umgebungszustand zu bestimmen. Während zum Beispiel das Alter des zweiten Baums 512 im vierten Umgebungszustand im zweiten Modell verwendet wird, um das Alter des zweiten Baums 512 im fünften Umgebungszustand zu bestimmen, verwendet das dritte Modell nicht das Alter und die Position aller Assets. Statt basierend auf der Anzahl von Bäumen, Eicheln und Eichhörnchen generiert das dritte Modell neue Assets vielmehr basierend auf einer erwarteten Anzahl von Bäumen, Eicheln und Eichhörnchen zur siebten Umgebungszeit und verteilt sie zufällig über Position und Alter.
  • In 5G sind, im Vergleich zu 5F, das erste Eichhörnchen 521 und das zweite Eichhörnchen 522 durch ein drittes Eichhörnchen 523 und ein viertes Eichhörnchen 524 ersetzt worden; der erste Baum 511 und der zweite Baum 512 sind durch einen dritten Baum 513, einen vierten Baum 514 und einen fünften Baum 515 ersetzt worden; und eine vierte Eichel 534 ist erschienen.
  • 5H veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die nach einer weiteren Bildzeit ein achtes Bild 500H der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 anzeigt. In 5H gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 20.002.000.004 an (z. B. ein dritter Zeitschritt von 10.000.000.000 im Vergleich zu 5G). In 5H bleibt die Schneller-Abspielen-Affordanz 554 weiterhin ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 5H ist die SR-Umgebung 409 durch einen achten Umgebungszustand definiert und einer achten Umgebungszeit zugeordnet. In verschiedenen Implementierungen wird der achte Umgebungszustand gemäß dem dritten Modell und basierend auf dem siebten Umgebungszustand generiert. In verschiedenen Implementierungen wird das Bestimmen des achten Umgebungszustands gemäß dem dritten Modell und basierend auf dem siebten Umgebungszustand durchgeführt, wie vorstehend in Bezug auf das Bestimmen des siebten Umgebungszustands gemäß dem dritten Modell und basierend auf dem sechsten Umgebungszustand beschrieben.
  • In 5H sind, im Vergleich zu 5G, das dritte Eichhörnchen 523 und das vierte Eichhörnchen 524 durch ein fünftes Eichhörnchen 525, ein sechstes Eichhörnchen 526 und ein siebtes Eichhörnchen 527 ersetzt worden; der dritte Baum 513, der vierte Baum 514 und der fünfte Baum 515 sind durch einen sechsten Baum 516, einen siebten Baum 517, einen achten Baum 518 und einen neunten Baum 519 ersetzt worden; und die vierte Eichel 534 ist durch eine fünfte Eichel 535 und eine sechste Eichel 536 ersetzt worden.
  • Statt neue Assets basierend auf einer erwarteten Anzahl von Bäumen, Eicheln und Eichhörnchen zu einer Umgebungszeit zu generieren, generiert das dritte Modell in verschiedenen Implementierungen, basierend auf der Anzahl von Bäumen, Eicheln und Eichhörnchen, eine Asset-Verteilung, die eine Wahrscheinlichkeit angibt, mit der sich ein Asset zu der Umgebungszeit an jeder Position befindet. Das Anzeigen der Asset-Verteilung, z. B. als eine Wolke, stellt eine Populationsdichte des Asset-Typs zur Umgebungszeit dar.
  • 51 veranschaulicht einen Abschnitt der Anzeige der elektronischen Vorrichtung 410, die ein neuntes Bild 5001 der Darstellung der Szene 415 einschließlich der SR-Umgebung 409 mit einer Asset-Verteilung anzeigt. In 51 gibt der Zeitindikator 540 eine aktuelle Zeit der SR-Umgebung 409 von 20.002.000.004 an (z. B. ein dritter Zeitschritt von 10.000.000.000 im Vergleich zu 5G). In 51 bleibt die Schneller-Abspielen-Affordanz 554 weiterhin ausgewählt (wie durch die andere Art der Anzeige angegeben).
  • In 51 werden, im Vergleich zu 5H, das fünfte Eichhörnchen 525, das sechste Eichhörnchen 526 und das siebte Eichhörnchen 527 nicht angezeigt. Vielmehr wird eine Eichhörnchen-Verteilung 561 angezeigt, welche die Wahrscheinlichkeit angibt, dass zur achten Umgebungszeit ein Eichhörnchen an der jeweiligen Position vorhanden ist.
  • 6 veranschaulicht einen beispielhaften Umgebungszustand 600 gemäß einigen Implementierungen. In verschiedenen Implementierungen ist der Umgebungszustand 600 ein Datenobjekt, wie beispielsweise eine XML-Datei. Der Umgebungszustand 600 gibt die Einbeziehung eines oder mehrerer Assets in eine SR-Umgebung an und gibt ferner einen oder mehrere Zustände des einen oder der mehreren Assets an.
  • Der Umgebungszustand 600 schließt ein Zeitfeld 610 ein, das eine Umgebungszeit angibt, die dem Umgebungszustand zugeordnet ist.
  • Der Umgebungszustand 600 schließt ein Asset-Feld 620 ein, das eine Vielzahl von einzelnen Asset-Feldern 630 und 640 einschließt, die jeweiligen Assets der SR-Umgebung zugeordnet sind. Obwohl in 6 nur zwei Assets dargestellt sind, versteht es sich, dass das Asset-Feld 620 eine beliebige Anzahl von Asset-Feldern einschließen kann.
  • Das Asset-Feld 620 schließt ein erstes Asset-Feld 630 ein. Das erste Asset-Feld 630 schließt ein erstes Asset-Kennung-Feld 631 ein, das eine Asset-Kennung des ersten Assets einschließt. In verschiedenen Implementierungen schließt die Asset-Kennung eine eindeutige Nummer ein. In verschiedenen Implementierungen schließt die Asset-Kennung einen Namen des Assets ein.
  • Das erste Asset-Feld 630 schließt ein erstes Asset-Typ-Feld 632 ein, das Daten einschließt, die einen Asset-Typ des ersten Assets angeben. Das erste Asset-Feld 630 schließt ein optionales Asset-Subtyp-Feld 633 ein, das Daten einschließt, die einen Asset-Subtyp des Asset-Typs des ersten Assets angeben.
  • Das erste Asset-Feld 630 schließt ein erstes Asset-Zustände-Feld 634 ein, das eine Vielzahl von ersten Asset-Zustand-Feldern 635A und 635B einschließt. In verschiedenen Implementierungen basiert das Asset-Zustand-Feld 634 auf dem Asset-Typ und/oder dem Asset-Subtyp des ersten Assets. Wenn der Asset-Typ beispielsweise „BAUM“ ist, schließt das Asset-Zustände-Feld 634 ein Asset-Position-Feld 635A ein, das Daten einschließt, die eine Position des Assets in der SR-Umgebung angeben, und ein Asset-Alter-Feld 635B, das Daten einschließt, die ein Alter des Assets angeben. Wenn als weiteres Beispiel der Asset-Typ „LEBEWESEN“ ist, schließt das Asset-Zustände-Feld 634 ein Asset-Bewegungsvektor-Feld ein, das Daten einschließt, die einen Bewegungsvektor des Assets angeben. Wenn als weiteres Beispiel der Asset-Typ „EICHEL“ ist, schließt das Asset-Zustände-Feld 634 ein Asset-Haltezustand-Feld ein, das Daten einschließt, die angeben, welches, falls zutreffend, andere Asset das Asset hält. Wenn ein weiteres Beispiel der Asset-Typ „WETTER“ ist, schließt das Asset-Zustände-Feld 634 ein Asset-Temperatur-Feld ein, das Daten einschließt, die eine Temperatur der SR-Umgebung angeben, ein Asset-Feuchtigkeit-Feld, das Daten einschließt, die eine Feuchtigkeit der SR-Umgebung angeben, und/oder ein Asset-Niederschlag-Feld, das Daten einschließt, die eine Niederschlagsbedingung der SR-Umgebung angeben.
  • Das Asset-Feld 620 schließt ein zweites Asset-Feld 640 ein. Das zweite Asset-Feld 640 schließt ein zweites Asset-Kennung-Feld 640 ein, das eine Asset-Kennung des zweiten Assets einschließt. Das zweite Asset-Feld 630 schließt ein zweites Asset-Typ-Feld 642 ein, das Daten einschließt, die einen Asset-Typ des zweiten Assets angeben. Das zweite Asset-Feld 642 schließt ein optionales Asset-Subtyp-Feld 643 ein, das Daten einschließt, die einen Asset-Subtyp des Asset-Typs des zweiten Assets angeben.
  • Das zweite Asset-Feld 640 schließt ein zweites Asset-Zustände-Feld 643 ein, das eine Vielzahl von zweiten Asset-Zustand-Feldern 645A und 645B einschließt. In verschiedenen Implementierungen basiert das Asset-Zustand-Feld 644 auf dem Asset-Typ und/oder dem Asset-Subtyp des zweiten Assets.
  • 7 veranschaulicht ein Blockdiagramm eines Umgebungszustandsgenerators 750 gemäß einigen Implementierungen. Der Umgebungszustandsgenerator 750 empfängt als eine Eingabe einen ersten Umgebungszustand 710, der einer ersten Umgebungszeit und einem Zeitschritt 715 zugeordnet ist. Der Umgebungszustandsgenerator 750 generiert als eine Ausgabe einen zweiten Umgebungszustand 720, der einer zweiten Umgebungszeit zugeordnet ist, die gleich der um den Zeitschritt 715 inkrementierten ersten Umgebungszeit ist.
  • Der Umgebungszustandsgenerator 750 schließt eine Vielzahl von Modellen 752A-752C ein, einschließlich eines ersten Modells 752A, eines zweiten Modells 752B und eines dritten Modells 752C, die zwischen einem Multiplexer 751 und einem Demultiplexer 753 parallel geschaltet sind. Der Umgebungszustandsgenerator 750 schließt einen Modellselektor 755 ein, der den Multiplexer 751 und den Demultiplexer 753 auf dem Zeitschritt 715 basierend steuert.
  • Wenn der Zeitschritt 715 ein erster Wert ist (oder innerhalb eines ersten Wertebereichs liegt), steuert der Modellselektor 755 den Multiplexer 751 und den Demultiplexer 753 an, um den ersten Umgebungszustand 710 und den Zeitschritt 715 in das erste Modell 752A einzugeben, um den zweiten Umgebungszustand 720 zu generieren. Wenn der Zeitschritt 715 ein zweiter Wert ist (oder innerhalb eines zweiten Wertebereichs liegt), steuert der Modellselektor 755 den Multiplexer 751 und den Demultiplexer 753 an, um den ersten Umgebungszustand 710 und den Zeitschritt 715 in das zweiten Modell 752B einzugeben, um den zweiten Umgebungszustand 720 zu generieren. Wenn der Zeitschritt 715 ein dritter Wert ist (oder innerhalb eines dritten Wertebereichs liegt), steuert der Modellselektor 755 den Multiplexer 751 und den Demultiplexer 753 an, um den ersten Umgebungszustand 710 und den Zeitschritt 715 in das dritte Modell 752C einzugeben, um den zweiten Umgebungszustand 720 zu generieren.
  • Dementsprechend empfängt jedes Modell 752A-752C, wenn es vom Modellselektor 755 ausgewählt wird, den ersten Umgebungszustand 710 und den Zeitschritt 715 und generiert den zweiten Umgebungszustand 720. In verschiedenen Implementierungen schließt jedes Modell 752A-752C entsprechende Heuristiken und Metadaten ein, die verwendet werden, um den zweiten Umgebungszustand 720 zu generieren.
  • 8 ist eine Flussdiagrammdarstellung eines Verfahrens 800 zum Generieren eines Umgebungszustandes einer SR-Umgebung gemäß einigen Implementierungen. In verschiedenen Implementierungen wird das Verfahren 800 von einer Vorrichtung mit einem oder mehreren Prozessoren, einem nichtflüchtigen Speicher und einer Kamera durchgeführt (z. B. der HMD 120B von 3 oder der elektronischen Vorrichtung 410 von 4). In einigen Implementierungen wird das Verfahren 800 durch Verarbeitungslogik, einschließlich Hardware, Firmware, Software oder einer Kombination davon (z. B. dem Umgebungszustandsgenerator 750 von 7), durchgeführt. In einigen Implementierungen wird das Verfahren 800 durch einen Prozessor durchgeführt, der Anweisungen ausführt (z. B. einen Code), die in einem nichtflüchtigen computerlesbaren Medium (z. B. einem Speicher) gespeichert sind. Kurz zusammenfasst, schließt das Verfahren 800 in einigen Fällen das Erhalten eines ersten Umgebungszustands, der einer ersten Umgebungszeit zugeordnet ist, einer SR-Umgebung und eines Zeitschritts, das Auswählen eines Modells aus einer Vielzahl von Modellen basierend auf dem Zeitschritt und das Anwenden des ausgewählten Modells auf den ersten Umgebungszustand, um einen zweiten Umgebungszustand zu generieren, der einer zweiten Umgebungszeit zugeordnet ist, ein.
  • Das Verfahren 800 beginnt in Block 810 damit, dass die Vorrichtung einen ersten Umgebungszustand einer SR-Umgebung, der einer ersten Umgebungszeit zugeordnet ist, erhält, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt. In verschiedenen Implementierungen schließt das Verfahren 800 das Anzeigen der SR-Umgebung mit dem ersten Umgebungszustand zu einem ersten Zeitpunkt (z. B. einer ersten Echtzeit) ein.
  • In verschiedenen Implementierungen ist der Umgebungszustand ein Datenobjekt, wie beispielsweise eine XML-Datei. In verschiedenen Implementierungen wird der erste Umgebungszustand manuell programmiert. In verschiedenen Implementierungen wird der erste Umgebungszustand durch Anwenden eines Modells auf einen vorherigen Umgebungszustand generiert.
  • Das Verfahren 800 wird in Block 820 damit fortgesetzt, dass die Vorrichtung einen Zeitschritt von der ersten Umgebungszeit zu einer zweiten Umgebungszeit erhält. In verschiedenen Implementierungen wird der Zeitschritt manuell programmiert. In verschiedenen Implementierungen wird der Zeitschritt basierend auf einer Benutzerinteraktion mit einer oder mehreren Zeitskalen-Affordanzen, die jeweils einem oder mehreren Zeitschritten zugeordnet sind, bestimmt.
  • Das Verfahren 800 wird in Block 830 damit fortgesetzt, dass die Vorrichtung basierend auf dem Zeitschritt ein Modell aus einer Vielzahl von verschiedenen Modellen auswählt. In verschiedenen Implementierungen wählt die Vorrichtung als Reaktion auf das Erhalten eines Zeitschritts mit einem ersten Wert (oder innerhalb eines ersten Wertebereichs), ein erstes Modell aus, und als Reaktion auf das Erhalten eines Zeitschritts mit einem zweiten Wert (oder innerhalb eines zweiten Wertebereichs), wählt die Vorrichtung ein zweites Modell aus, das sich von dem ersten Modell unterscheidet. In verschiedenen Implementierungen ist das zweite Modell recheneffizienter als das erste Modell.
  • Das Verfahren 800 wird in Block 840 damit fortgesetzt, dass die Vorrichtung gemäß dem ausgewählten Modell einen zweiten Umgebungszustand der SR-Umgebung, welcher der zweiten Umgebungszeit zugeordnet ist, bestimmt. In verschiedenen Implementierungen schließt das Verfahren 800 das Anzeigen der SR-Umgebung mit dem zweiten Umgebungszustand zu einem zweiten Zeitpunkt (z. B. einer zweiten Echtzeit) ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines ersten Modells, das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5C beschrieben, das Bestimmen des dritten Umgebungszustands das Bestimmen einer dritten Position des ersten Eichhörnchens 521 basierend auf der zweiten Position des ersten Eichhörnchens 521 und dem zweiten Bewegungsvektor des ersten Eichhörnchens 521 ein. In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines zweiten Modells, das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands unabhängig von dem ersten Wert des Asset-Zustands des ersten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5E beschrieben, das Bestimmen des fünften Umgebungszustands das Bestimmen einer fünften Position des ersten Eichhörnchens 521 ein, unabhängig von der vierten Position des ersten Eichhörnchens 521 und dem vierten Bewegungsvektor des ersten Eichhörnchens 521.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines ersten Modells, das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5C beschrieben, das Bestimmen des dritten Umgebungszustands das Bestimmen eines dritten Bewegungsvektors des ersten Eichhörnchens 521 basierend auf der Nähe der dritten Position des ersten Eichhörnchens 521 zu der dritten Position anderer Assets (die auf ihren zweiten Positionen des zweiten Umgebungszustands basieren) ein. In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines zweiten Modells, das Verzichten auf das Bestimmen des zweiten Werts des Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand ein. Zum Beispiel schließt das Bestimmen des fünften Umgebungszustands, wie vorstehend in Bezug auf 5E beschrieben, nicht das Bestimmen eines fünften Bewegungsvektors des ersten Eichhörnchens 521 ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines ersten Modells, das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5E beschrieben, das Bestimmen des fünften Umgebungszustands das Bestimmen einer fünften Position des ersten Baums 511 basierend auf der vierten Position des ersten Baums 511 ein. In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines zweiten Modells, das Ausschließen des Assets, das den Asset-Zustand aufweist, aus dem zweiten Umgebungszustand ein. Zum Beispiel schließt das Bestimmen des siebten Umgebungszustands, wie vorstehend in Bezug auf 5G beschrieben, das Entfernen des ersten Baums 511 ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell (in Block 840), gemäß einer Auswahl (in Block 830) eines zweiten Modells, das Einschließen eines oder mehrerer neuer Assets mit demselben Asset-Typ wie das Asset mit dem Asset-Zustand ein, basierend auf der Anzahl von Assets mit einem jeweiligen Asset-Typ in dem ersten Umgebungszustand. Zum Beispiel schließt, wie vorstehend in Bezug auf 5G beschrieben, das Bestimmen des siebten Umgebungszustands das Hinzufügen des dritten Baums 513, des vierten Baums 514 und des fünften Baums 515 basierend auf der Anzahl von Bäumen (und der Anzahl von Eichhörnchen) in den sechsten Umgebungszustand ein. Als ein weiteres Beispiel, wie vorstehend in Bezug auf 5E beschrieben, schließt das Bestimmen des fünften Umgebungszustands das Hinzufügen der dritten Eichel 533 basierend auf der Anzahl von Bäumen in den fünften Umgebungszustand ein.
  • 9 ist eine Flussdiagrammdarstellung eines Verfahrens 900 zum Generieren von Umgebungszuständen einer SR-Umgebung gemäß einigen Implementierungen. In verschiedenen Implementierungen wird das Verfahren 900 von einer Vorrichtung mit einem oder mehreren Prozessoren, einem nichtflüchtigen Speicher und einer Kamera durchgeführt (z. B. der HMD 120B von 3 oder der elektronischen Vorrichtung 410 von 4). In einigen Implementierungen wird das Verfahren 900 durch Verarbeitungslogik, einschließlich Hardware, Firmware, Software oder einer Kombination davon (z. B. dem Umgebungszustandsgenerator 750 aus 7), durchgeführt. In einigen Implementierungen wird das Verfahren 900 durch einen Prozessor durchgeführt, der Anweisungen ausführt (z. B. einen Code), die in einem nichtflüchtigen computerlesbaren Medium (z. B. einem Speicher) gespeichert sind. Kurz zusammenfasst, schließt das Verfahren 900 in einigen Fällen das Erhalten eines ersten Umgebungszustands, der einer ersten Umgebungszeit zugeordnet ist, einer SR-Umgebung und eines Zeitschritts, das Auswählen eines Modells aus einer Vielzahl von Modellen basierend auf dem Zeitschritt und das Anwenden des ausgewählten Modells auf den ersten Umgebungszustand, um einen zweiten Umgebungszustand zu generieren, der einer zweiten Umgebungszeit zugeordnet ist, ein.
  • Das Verfahren 900 beginnt in Block 910 damit, dass die Vorrichtung einen ersten Umgebungszustand einer SR-Umgebung, der einer ersten Umgebungszeit zugeordnet ist, erhält, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt. Zum Beispiel schließt in verschiedenen Implementierungen der erste Umgebungszustand Daten ein, welche die Einbeziehung eines ersten Assets des einen oder der mehreren Assets, einen Typ des ersten Assets, eine jeweilige Position des ersten Assets in der SR-Umgebung und ein jeweiliges Alter des ersten Assets angeben. In verschiedenen Implementierungen schließt das Verfahren 900 das Anzeigen der SR-Umgebung mit dem ersten Umgebungszustand zu einem ersten Zeitpunkt ein.
  • In verschiedenen Implementierungen ist der Umgebungszustand ein Datenobjekt, wie beispielsweise eine XML-Datei. In verschiedenen Implementierungen wird der erste Umgebungszustand manuell programmiert. In verschiedenen Implementierungen wird der erste Umgebungszustand durch Anwenden eines Modells auf einen vorherigen Umgebungszustand generiert.
  • Das Verfahren 900 wird bei Block 920 damit fortgesetzt, dass die Vorrichtung gemäß einem ersten Modell und basierend auf dem ersten Umgebungszustand einen zweiten Umgebungszustand, der einer zweiten Umgebungszeit zugeordnet ist, bestimmt. In verschiedenen Implementierungen schließt der zweite Umgebungszustand Daten ein, welche die Einbeziehung eines ersten Assets des einen oder der mehreren Assets, den Typ des ersten Assets, eine jeweilige Position des ersten Assets in der SR-Umgebung und ein jeweiliges Alter des ersten Assets angeben. In verschiedenen Implementierungen schließt das Verfahren 900 das Anzeigen der SR-Umgebung mit dem zweiten Umgebungszustand zu einem zweiten Zeitpunkt (z. B. eine Bildzeit später als der erste Zeitpunkt) ein.
  • Das Verfahren 900 wird in Block 930 damit fortgesetzt, dass die Vorrichtung eine Eingabe empfängt, die einen Zeitschritt von der zweiten Umgebungszeit zu einer dritten Umgebungszeit angibt, wobei sich der Zeitschritt von einer Differenz zwischen der ersten Umgebungszeit und der zweiten Umgebungszeit unterscheidet. In verschiedenen Implementierungen schließt das Empfangen der Eingabe, die den Zeitschritt angibt, das Empfangen einer Benutzereingabe ein, die eine Auswahl einer aus einer Vielzahl von Zeitskalen-Affordanzen angibt, die jeweils einer Vielzahl von Zeitschritten zugeordnet sind. Zum Beispiel hat der Benutzer in 5E die Schnell-Abspielen-Affordanz 553 ausgewählt, und der Zeitschritt zwischen 5D und 5E unterscheidet sich von dem Zeitschritt zwischen 5C und 5D.
  • Das Verfahren 900 wird in Block 940 damit fortgesetzt, dass die Vorrichtung gemäß einem zweiten Modell, das sich von dem ersten Modell unterscheidet, und basierend auf dem zweiten Umgebungszustand einen dritten Umgebungszustand, welcher der dritten Umgebungszeit zugeordnet ist, bestimmt. In verschiedenen Implementierungen ist das zweite Modell recheneffizienter als das erste Modell. In verschiedenen Implementierungen schließt der dritte Umgebungszustand Daten ein, welche die Einbeziehung des ersten Assets des einen oder der mehreren Assets, den Typ des ersten Assets, eine jeweilige Position des ersten Assets in der SR-Umgebung und ein jeweiliges Alter des ersten Assets angeben. In verschiedenen Implementierungen schließt das Verfahren 900 das Anzeigen der SR-Umgebung mit dem dritten Umgebungszustand zu einem dritten Zeitpunkt (z. B. die Bildzeit später als der dritte Zeitpunkt) ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell (in Block 920) das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5C beschrieben, das Bestimmen des dritten Umgebungszustands das Bestimmen einer dritten Position des ersten Eichhörnchens 521 basierend auf der zweiten Position des ersten Eichhörnchens 521 und dem zweiten Bewegungsvektor des ersten Eichhörnchens 521 ein. In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell (in Block 940) das Bestimmen eines dritten Werts des Asset-Zustands des dritten Umgebungszustands unabhängig von dem zweiten Wert des Asset-Zustands des zweiten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5E beschrieben, das Bestimmen des fünften Umgebungszustands das Bestimmen einer fünften Position des ersten Eichhörnchens 521 ein, unabhängig von der vierten Position des ersten Eichhörnchens 521 und dem vierten Bewegungsvektor des ersten Eichhörnchens 521.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell (in Block 920) das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5C beschrieben, das Bestimmen des dritten Umgebungszustands das Bestimmen eines dritten Bewegungsvektors des ersten Eichhörnchens 521 basierend auf der Nähe der dritten Position des ersten Eichhörnchens 521 zu der dritten Position anderer Assets (die auf ihren zweiten Positionen des zweiten Umgebungszustands basieren) ein. In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem zweiten Modell (in Block 940) das Verzichten auf das Bestimmen eines dritten Werts des Asset-Zustands des dritten Umgebungszustands basierend auf dem zweiten Umgebungszustand ein. Zum Beispiel schließt das Bestimmen des fünften Umgebungszustands, wie vorstehend in Bezug auf 5E beschrieben, nicht das Bestimmen eines fünften Bewegungsvektors des ersten Eichhörnchens 521 ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell (in Block 920) das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands ein. Zum Beispiel schließt, wie vorstehend in Bezug auf 5E beschrieben, das Bestimmen des fünften Umgebungszustands das Bestimmen einer fünften Position des ersten Baums 511 basierend auf der vierten Position des ersten Baums 511 ein. In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell (in Block 940) das Ausschließen des Assets mit dem Asset-Zustand aus dem dritten Umgebungszustand ein. Zum Beispiel schließt das Bestimmen des siebten Umgebungszustands, wie vorstehend in Bezug auf 5G beschrieben, das Entfernen des ersten Baums 511 ein.
  • In verschiedenen Implementierungen schließt das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell (in Block 940) das Einschließen eines oder mehrerer neuer Assets mit demselben Asset-Typ wie das Asset mit dem Asset-Zustand basierend auf der Anzahl von Assets mit einem jeweiligen Asset-Typ in dem zweiten Umgebungszustand ein. Zum Beispiel schließt das Bestimmen des siebten Umgebungszustands, wie vorstehend in Bezug auf 5G beschrieben, das Hinzufügen des dritten Baums 513, des vierten Baums 514 und des fünften Baums 515 basierend auf der Anzahl von Bäumen (und der Anzahl von Eichhörnchen) in den sechsten Umgebungszustand ein. Als ein weiteres Beispiel, wie vorstehend in Bezug auf 5E beschrieben, schließt das Bestimmen des fünften Umgebungszustands das Hinzufügen der dritten Eichel 533 basierend auf der Anzahl von Bäumen in den fünften Umgebungszustand ein.
  • Während verschiedene Gesichtspunkte von Implementierungen innerhalb des Schutzumfangs der beiliegenden Ansprüche vorstehend beschrieben sind, sollte es offensichtlich sein, dass die verschiedenen Merkmale von vorstehend beschriebenen Implementierungen in einer breiten Vielfalt von Formen verkörpert werden können und dass jede spezifische Struktur und/oder Funktion, die vorstehend beschrieben ist, lediglich veranschaulichend ist. Basierend auf der vorliegenden Offenbarung sollte ein Fachmann erkennen, dass ein hierin beschriebener Gesichtspunkt unabhängig von beliebigen anderen Gesichtspunkten implementiert werden kann und dass zwei oder mehr dieser Gesichtspunkte auf verschiedene Weisen kombiniert werden können. Beispielsweise kann eine Vorrichtung implementiert werden und/oder ein Verfahren kann unter Verwendung einer beliebigen Anzahl der hierin dargelegten Gesichtspunkte ausgeführt werden. Darüber hinaus kann eine solche Vorrichtung implementiert werden und/oder kann ein solches Verfahren unter zusätzlicher Verwendung einer anderen Struktur und/oder Funktion oder einem anderen als dem einen oder den mehreren der hierin beschriebenen Gesichtspunkte ausgeführt werden.
  • Es versteht sich auch, dass, wenngleich die Begriffe „erste(r)“, „zweite(r)“ usw. hierin verwendet sein können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe eingeschränkt werden. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erster Knoten als ein zweiter Knoten bezeichnet werden, und in ähnlicher Weise könnte ein zweiter Knoten als erster Knoten bezeichnet werden, ohne die Bedeutung der Beschreibung zu ändern, solange jedes Vorkommen des „ersten Knotens“ konsequent umbenannt wird und jedes Vorkommen des „zweiten
    Knotens“ konsequent umbenannt wird. Bei dem ersten Knoten und dem zweiten Knoten handelt es sich bei beiden um Knoten, es handelt sich jedoch nicht um denselben Knoten.
  • Die hierin verwendete Terminologie dient lediglich der Beschreibung bestimmter Implementierungen und ist nicht dazu beabsichtigt, die Ansprüche einzuschränken. Wie in der Beschreibung der Implementierungen und den beiliegenden Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“, „der“, „die“ und „das“ auch die Pluralformen einschließen, sofern es im Kontext nicht eindeutig anders angegeben ist. Es versteht sich auch, dass der Begriff „und/oder“, so wie er hierin verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden, aufgeführten Elemente bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, das Vorhandensein von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder das Hinzufügen von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
  • Wie hierin verwendet, kann der Begriff „wenn“ als „falls“ oder „bei“ oder „infolge des Bestimmens“ oder „gemäß einer Bestimmung“ oder „infolge des Bestimmens“, dass eine genannte vorausgehende Bedingung, abhängig vom Kontext, erfüllt ist, verstanden werden. Ähnlich kann die Wendung „wenn bestimmt wird, [dass eine genannte vorausgehende Bedingung erfüllt ist]“ oder „falls [eine genannte vorausgehende Bedingung erfüllt ist]“ oder „wenn [eine genannte vorausgehende Bedingung erfüllt ist]“ als „bei Bestimmung“ oder „bei einer Bestimmung, dass“ oder „gemäß einer Bestimmung“ oder „beim Erkennen“ oder „infolge des Erkennens“ so interpretiert werden, dass eine genannte vorausgehende Bedingung, abhängig vom Kontext, erfüllt ist.

Claims (30)

  1. Verfahren, umfassend: an einer elektronischen Vorrichtung, die einen Prozessor und einen nichtflüchtigen Speicher einschließt: Erhalten eines ersten Umgebungszustand einer Umgebung der synthetisierten Realität (SR-Umgebung), der einer ersten Umgebungszeit zugeordnet ist, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt; Bestimmen, gemäß einem ersten Modell und basierend auf dem ersten Umgebungszustand, eines zweiten Umgebungszustands, der einer zweiten Umgebungszeit zugeordnet ist; Empfangen einer Eingabe, die einen Zeitschritt von der zweiten Umgebungszeit zu einer dritten Umgebungszeit angibt, wobei sich der Zeitschritt von einer Differenz zwischen der ersten Umgebungszeit und der zweiten Umgebungszeit unterscheidet; Bestimmen, gemäß einem zweiten Modell, das sich von dem ersten Modell unterscheidet, und basierend auf dem zweiten Umgebungszustand, eines dritten Umgebungszustands, welcher der dritten Umgebungszeit zugeordnet ist.
  2. Verfahren nach Anspruch 1, wobei der erste Umgebungszustand eine XML-Datei einschließt.
  3. Verfahren nach Anspruch 1 oder 2, wobei der erste Umgebungszustand, der zweite Umgebungszustand und der dritte Umgebungszustand Daten einschließen, die Folgendes angeben: die Einbeziehung eines ersten Assets des einen oder der mehreren Assets; einen Typ des ersten Assets; eine jeweilige Position des ersten Assets in der SR-Umgebung; und ein jeweiliges Alter des ersten Assets.
  4. Verfahren nach einem der Ansprüche 1-3, ferner umfassend: Anzeigen der SR-Umgebung mit dem ersten Umgebungszustand zu einem ersten Zeitpunkt; Anzeigen der SR-Umgebung mit dem zweiten Umgebungszustand zu einem zweiten Zeitpunkt, der eine Bildzeit später als der erste Zeitpunkt ist; und Anzeigen der SR-Umgebung mit dem dritten Umgebungszustand zu einem dritten Zeitpunkt, der um die Bildzeit später als der zweite Zeitpunkt ist.
  5. Verfahren nach einem der Ansprüche 1-4, wobei das Empfangen der Eingabe, die den Zeitschritt angibt, das Empfangen einer Benutzereingabe einschließt, die eine Auswahl einer aus einer Vielzahl von Zeitskalen-Affordanzen angibt, die jeweils einer Vielzahl von Zeitschritten zugeordnet sind.
  6. Verfahren nach einem der Ansprüche 1-5, wobei das zweite Modell recheneffizienter ist als das erste Modell.
  7. Verfahren nach einem der Ansprüche 1-6, wobei: das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt; und das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell das Bestimmen eines dritten Werts des Asset-Zustands des dritten Umgebungszustands unabhängig von dem zweiten Wert des Asset-Zustands des zweiten Umgebungszustands einschließt.
  8. Verfahren nach einem der Ansprüche 1-7, wobei: das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand einschließt; und das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell das Verzichten auf das Bestimmen eines dritten Werts des Asset-Zustands des dritten Umgebungszustands basierend auf dem zweiten Umgebungszustand einschließt.
  9. Verfahren nach einem der Ansprüche 1-8, wobei: das Bestimmen des zweiten Umgebungszustands gemäß dem ersten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt; und das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell das Ausschließen des Assets mit dem Asset-Zustand aus dem dritten Umgebungszustand einschließt.
  10. Verfahren nach Anspruch 9, wobei das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell das Einschließen eines oder mehrerer neuer Assets mit demselben Asset-Typ wie das Asset mit dem Asset-Zustand basierend auf der Anzahl von Assets mit einem jeweiligen Asset-Typ in dem zweiten Umgebungszustand einschließt.
  11. Verfahren nach einem der Ansprüche 1-10, wobei das Bestimmen des dritten Umgebungszustands gemäß dem zweiten Modell das Bestimmen eines dritten Werts eines Asset-Zustands des dritten Umgebungszustands durch Addieren des Zeitschritts zu einem zweiten Wert des Asset-Zustands des zweiten Umgebungszustands einschließt.
  12. Vorrichtung, umfassend: einen oder mehrere Prozessoren; einen nichtflüchtigen Speicher; und ein oder mehrere Programme, die in dem nichtflüchtigen Speicher gespeichert sind und die, wenn sie durch den einen oder die mehrere Prozessoren ausgeführt werden, veranlassen, dass die Vorrichtung eines der Verfahren nach Anspruch 1 bis 11 ausführt.
  13. Nichtflüchtiger Speicher, der ein oder mehrere Programme speichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, veranlassen, dass die Vorrichtung eines der Verfahren nach Anspruch 1 bis 11 ausführt.
  14. Vorrichtung, umfassend: einen oder mehrere Prozessoren; einen nichtflüchtigen Speicher; und Mittel, um die Vorrichtung dazu zu veranlassen, eines der Verfahren nach Anspruch 1 bis 11 auszuführen.
  15. Vorrichtung, umfassend: einen nichtflüchtigen Speicher; und einen oder mehrere Prozessoren zum: Erhalten eines ersten Umgebungszustand einer Umgebung der synthetisierten Realität (SR-Umgebung), der einer ersten Umgebungszeit zugeordnet ist, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt; Bestimmen, gemäß einem ersten Modell und basierend auf dem ersten Umgebungszustand, eines zweiten Umgebungszustands, der einer zweiten Umgebungszeit zugeordnet ist; Empfangen einer Eingabe, die einen Zeitschritt von der zweiten Umgebungszeit zu einer dritten Umgebungszeit angibt, wobei sich der Zeitschritt von einer Differenz zwischen der ersten Umgebungszeit und der zweiten Umgebungszeit unterscheidet; Bestimmen, gemäß einem zweiten Modell, das sich von dem ersten Modell unterscheidet, und basierend auf dem zweiten Umgebungszustand, eines dritten Umgebungszustands, welcher der dritten Umgebungszeit zugeordnet ist.
  16. Verfahren, umfassend: an einer elektronischen Vorrichtung, die einen Prozessor und einen nichtflüchtigen Speicher einschließt: Erhalten eines ersten Umgebungszustand einer Umgebung der synthetisierten Realität (SR-Umgebung), der einer ersten Umgebungszeit zugeordnet ist, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt; Bestimmen eines Zeitschritts von der ersten Umgebungszeit zu einer zweiten Umgebungszeit; Auswählen, basierend auf dem Zeitschritt, eines Modells aus einer Vielzahl von verschiedenen Modellen; Bestimmen, gemäß dem ausgewählten Modell, eines zweiten Umgebungszustands der SR-Umgebung, welcher der zweiten Umgebungszeit zugeordnet ist.
  17. Verfahren nach Anspruch 16, wobei der erste Umgebungszustand eine XML-Datei einschließt.
  18. Verfahren nach Anspruch 16 oder 17, wobei der erste Umgebungszustand, der zweite Umgebungszustand und der dritte Umgebungszustand Daten einschließen, die Folgendes angeben: die Einbeziehung eines ersten Assets des einen oder der mehreren Assets; einen Typ des ersten Assets; eine jeweilige Position des ersten Assets in der SR-Umgebung; und ein jeweiliges Alter des ersten Assets.
  19. Verfahren nach einem der Ansprüche 16-18, ferner umfassend: Anzeigen der SR-Umgebung mit dem ersten Umgebungszustand zu einem ersten Zeitpunkt; und Anzeigen der SR-Umgebung mit dem zweiten Umgebungszustand zu einem zweiten Zeitpunkt, der später als der erste Zeitpunkt ist.
  20. Verfahren nach einem der Ansprüche 16-19, wobei das Bestimmen des Zeitschritts das Empfangen einer Benutzereingabe einschließt, die eine Auswahl einer aus einer Vielzahl von Zeitskalen-Affordanzen angibt, die jeweils einer Vielzahl von Zeitschritten zugeordnet sind.
  21. Verfahren nach einem der Ansprüche 16-20, wobei ein zweites Modell der Vielzahl von Modellen recheneffizienter ist als ein erstes Modell der Vielzahl von Modellen.
  22. Verfahren nach einem der Ansprüche 16-21, wobei: als Reaktion auf das Auswählen eines ersten Modells aus der Vielzahl von Modellen das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt; und als Reaktion auf das Auswählen eines zweiten Modells aus der Vielzahl von Modellen das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Bestimmen eines zweiten Werts des Asset-Zustands des zweiten Umgebungszustands unabhängig von dem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt.
  23. Verfahren nach einem der Ansprüche 16-22, wobei: als Reaktion auf das Auswählen eines ersten Modells aus der Vielzahl von Modellen, das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell, das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand einschließt, und als Reaktion auf das Auswählen eines zweiten Modells aus der Vielzahl von Modellen das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Verzichten auf das Bestimmen eines zweiten Werts des Asset-Zustands des zweiten Umgebungszustands basierend auf dem ersten Umgebungszustand einschließt.
  24. Verfahren nach einem der Ansprüche 16-23, wobei: als Reaktion auf das Auswählen eines ersten Modells aus der Vielzahl von Modellen das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands basierend auf einem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt; und als Reaktion auf das Auswählen eines zweiten Modells aus der Vielzahl von Modellen das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Ausschließen des Assets mit dem Asset-Zustand aus dem zweiten Umgebungszustand einschließt.
  25. Verfahren nach Anspruch 24, wobei als Reaktion auf das Auswählen des zweiten Modells aus der Vielzahl der Modelle das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Einschließen eines oder mehrerer neuer Assets mit demselben Asset-Typ wie das Asset mit dem Asset-Zustand basierend auf der Anzahl von Assets mit einem jeweiligen Asset-Typ in dem ersten Umgebungszustand einschließt.
  26. Verfahren nach einem der Ansprüche 16-25, wobei das Bestimmen des zweiten Umgebungszustands gemäß dem ausgewählten Modell das Bestimmen eines zweiten Werts eines Asset-Zustands des zweiten Umgebungszustands durch Addieren des Zeitschritts zu einem ersten Wert des Asset-Zustands des ersten Umgebungszustands einschließt.
  27. Vorrichtung, umfassend: einen oder mehrere Prozessoren; einen nichtflüchtigen Speicher; und ein oder mehrere Programme, die in dem nichtflüchtigen Speicher gespeichert sind und die, wenn sie durch den einen oder die mehrere Prozessoren ausgeführt werden, veranlassen, dass die Vorrichtung eines der Verfahren nach Anspruch 16-26 ausführt.
  28. Nichtflüchtiger Speicher, der ein oder mehrere Programme speichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, veranlassen, dass die Vorrichtung eines der Verfahren nach Anspruch 16-26 ausführt.
  29. Vorrichtung, umfassend: einen oder mehrere Prozessoren; einen nichtflüchtigen Speicher; und Mittel, um die Vorrichtung dazu zu veranlassen, eines der Verfahren nach Anspruch 16-26 auszuführen.
  30. Vorrichtung, umfassend: einen nichtflüchtigen Speicher; und einen oder mehrere Prozessoren zum: Erhalten eines ersten Umgebungszustand einer Umgebung der synthetisierten Realität (SR-Umgebung), der einer ersten Umgebungszeit zugeordnet ist, wobei der erste Umgebungszustand die Einbeziehung eines oder mehrerer Assets in die SR-Umgebung angibt und ferner einen oder mehrere Zustände des einen oder der mehreren Assets angibt; Bestimmen eines Zeitschritts von der ersten Umgebungszeit zu einer zweiten Umgebungszeit; Auswählen, basierend auf dem Zeitschritt, eines Modells aus einer Vielzahl von verschiedenen Modellen; Bestimmen, gemäß dem ausgewählten Modell, eines zweiten Umgebungszustands der SR-Umgebung, welcher der zweiten Umgebungszeit zugeordnet ist.
DE112019004889.9T 2018-09-28 2019-09-24 Recheneffiziente Modellauswahl Pending DE112019004889T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862738066P 2018-09-28 2018-09-28
US62/738,066 2018-09-28
PCT/US2019/052587 WO2020068741A1 (en) 2018-09-28 2019-09-24 Computationally efficient model selection

Publications (1)

Publication Number Publication Date
DE112019004889T5 true DE112019004889T5 (de) 2021-06-24

Family

ID=68172262

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019004889.9T Pending DE112019004889T5 (de) 2018-09-28 2019-09-24 Recheneffiziente Modellauswahl

Country Status (6)

Country Link
US (2) US11373377B2 (de)
KR (1) KR102632448B1 (de)
CN (1) CN112740280A (de)
DE (1) DE112019004889T5 (de)
GB (1) GB2592136B (de)
WO (1) WO2020068741A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874150A (zh) * 2018-07-27 2018-11-23 华南理工大学 一种虚拟现实触觉反馈交互系统
CN112740280A (zh) * 2018-09-28 2021-04-30 苹果公司 计算高效的模型选择

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267720A1 (en) 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US8065022B2 (en) * 2005-09-06 2011-11-22 General Electric Company Methods and systems for neural network modeling of turbine components
WO2010045272A1 (en) * 2008-10-14 2010-04-22 Honda Motor Co., Ltd. Smoothed sarsa: reinforcement learning for robot delivery tasks
US9497771B2 (en) * 2014-04-18 2016-11-15 Apple Inc. Deterministic RRC connections
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
AU2015218498A1 (en) * 2015-08-27 2017-03-16 Canon Kabushiki Kaisha Method, apparatus and system for displaying images
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN107302625B (zh) * 2017-05-18 2020-07-24 华为机器有限公司 管理事件的方法及其终端设备
WO2020068740A1 (en) * 2018-09-28 2020-04-02 Dakiana Research Llc Model with multiple concurrent timescales
CN112740280A (zh) * 2018-09-28 2021-04-30 苹果公司 计算高效的模型选择
WO2020219643A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Training a model with human-intuitive inputs

Also Published As

Publication number Publication date
KR102632448B1 (ko) 2024-02-02
WO2020068741A1 (en) 2020-04-02
US20220270335A1 (en) 2022-08-25
KR20210046781A (ko) 2021-04-28
GB2592136B (en) 2022-12-14
US11699270B2 (en) 2023-07-11
GB2592136A (en) 2021-08-18
GB202104028D0 (en) 2021-05-05
US11373377B2 (en) 2022-06-28
US20210201594A1 (en) 2021-07-01
CN112740280A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
DE102020110662A1 (de) Simultane positionsbestimmung und kartenerstellung (slam) für mehrere benutzer
DE102018207088A1 (de) Bildanalyse ohne marker für augmented reality
US20160300392A1 (en) Systems, media, and methods for providing improved virtual reality tours and associated analytics
DE202017104054U1 (de) 2D-Video mit der Option für projiziertes Betrachten in einem modellierten 3D-Raum
DE112019000687T5 (de) Fotorealistische dreidimensionale texturierung unter verwendung kanonischer ansichten und eines zweistufigen ansatzes
DE112018006666T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
DE112019002353T5 (de) Techniken zum umschalten zwischen immersionsebenen
DE102020116144A1 (de) Virtuelle inhalte, positioniert basierend auf detektiertem objekt
CN112105983B (zh) 增强的视觉能力
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20210016288A (ko) 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화
DE112019004889T5 (de) Recheneffiziente Modellauswahl
DE112017001660T5 (de) Datenverarbeitungseinrichtung, Datenverarbeitungsverfahren und computerlesbares Medium
DE112020000725T5 (de) Objektpositionierung und bewegung in dreidimensionalem inhalt
US11768590B2 (en) Configuring objective-effectuators for synthesized reality settings
DE102022110363A1 (de) Verfahren und vorrichtung zur debugging-programmausführung und inhaltswiedergabe
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20210027164A1 (en) Objective-effectuators in synthesized reality settings
DE102020104055A1 (de) Rendern von objekten zur anpassung von dem kamerarauschen
US11302080B1 (en) Planner for an objective-effectuator
DE112021004412T5 (de) Interaktionen während einer videoerfahrung
DE102020101675A1 (de) Manipulation von virtuellen objekten mittels eines verfolgten physischen objekts
DE112020002063T5 (de) Generieren einer semantischen Konstruktion einer physischen Umgebung
DE102016015136A1 (de) Interaktion mit digitalem 3D-Inhalt und Steuerung bzw. Regelung hiervon

Legal Events

Date Code Title Description
R012 Request for examination validly filed