DE102019125623A1 - Kontextuelle computer-generated-reallity-(cgr)-digitalassistenten - Google Patents

Kontextuelle computer-generated-reallity-(cgr)-digitalassistenten Download PDF

Info

Publication number
DE102019125623A1
DE102019125623A1 DE102019125623.2A DE102019125623A DE102019125623A1 DE 102019125623 A1 DE102019125623 A1 DE 102019125623A1 DE 102019125623 A DE102019125623 A DE 102019125623A DE 102019125623 A1 DE102019125623 A1 DE 102019125623A1
Authority
DE
Germany
Prior art keywords
cgr
contextual
user
image data
digital assistants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019125623.2A
Other languages
English (en)
Other versions
DE102019125623A8 (de
Inventor
Avi Bar-Zeev
Golnaz Abdollahian
Devin W. Chalmers
David H. Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE102019125623A1 publication Critical patent/DE102019125623A1/de
Publication of DE102019125623A8 publication Critical patent/DE102019125623A8/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

In einer Implementierung wird ein Verfahren zum Bereitstellen eines kontextuellen Computer-Generated-Reality-(CGR)-Digitalassistenten an einer Vorrichtung durchgeführt, die zum Liefern einer CGR-Szene vorgesehen ist, wobei die Vorrichtung einen oder mehrere Prozessoren, einen nicht-flüchtigen Speicher und eine oder mehrere Anzeigen beinhaltet. Das Verfahren beinhaltet das Erhalten von Bilddaten, die ein von einem Bildsensor erfasstes Sichtfeld kennzeichnen. Das Verfahren schließt ferner das Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten ein. Das Verfahren beinhaltet zusätzlich das Auswählen einer visuellen Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung basierend auf dem Kontext und als Reaktion auf das Identifizieren des kontextuellen Auslösers ausgewählt wird. Das Verfahren beinhaltet auch das Präsentieren der CGR-Szene durch Anzeigen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen liefert, die mit dem kontextuellen Auslöser verbunden sind.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht die Priorität gegenüber der vorläufigen US-Patentanmeldung Nr. 62/735,291 , die am 24. September 2018 eingereicht wurde und die hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich allgemein auf Anwendungen computergenerierter Realität auf Multifunktionsvorrichtungen.
  • HINTERGRUND
  • Eine physische Umgebung bezieht sich auf eine physische Welt, die Menschen ohne die Hilfe von elektronischen Systemen wahrnehmen können und/oder mit ihr interagieren können. Physische Umgebungen, wie beispielsweise ein physischer Park, schließen physische Gegenstände ein, wie physische Bäume, physische Gebäude und physische Personen. Menschen können die physische Umgebung direkt wahrnehmen und/oder mit ihr interagieren, z. B. durch Sehen, Berühren, Hören, Schmecken und Riechen.
  • Im Gegensatz dazu bezieht sich eine Umgebung der computergenerierten Realität (CGR) auf eine ganz oder teilweise simulierte Umgebung, die Menschen über ein elektronisches System wahrnehmen und/oder mit ihr interagieren. In CGR wird eine Teilmenge der physischen Bewegungen einer Person oder deren Darstellungen verfolgt, und als Reaktion darauf werden eine oder mehrere Eigenschaften eines oder mehrerer virtueller Objekte, die in der CGR-Umgebung simuliert werden, so angepasst, dass sie mit mindestens einem physikalischen Gesetz übereinstimmen. Zum Beispiel kann ein CGR-System die Kopfdrehung einer Person erfassen und als Reaktion darauf den der Person präsentierten graphischen Inhalt und ein akustisches Feld auf ähnliche Weise einstellen, wie solche Ansichten und Töne sich in einer physischen Umgebung ändern würden. In einigen Situationen (z. B. aus Gründen der Zugänglichkeit) können Anpassungen an den Merkmalen virtueller Objekte in einer CGR-Umgebung als Reaktion auf Darstellungen physischer Bewegungen (z. B. Stimmbefehle) vorgenommen werden.
  • Eine Person kann ein CGR-Objekt mit einem ihrer Sinne wahrnehmen und/oder mit ihm interagieren, einschließlich Sehen, Hören, Berühren, Schmecken und Riechen. So kann beispielsweise eine Person Audioobjekte wahrnehmen und/oder mit ihnen interagieren, die eine 3D- oder räumliche Audioumgebung erzeugen, die die Wahrnehmung von Punkt-Audioquellen im 3D-Raum ermöglicht. In einem anderen Beispiel können Audioobjekte Audiotransparenz ermöglichen, die selektiv Umgebungsgeräusche aus der physischen Umgebung mit oder ohne computergeneriertes Audio einbezieht. In einigen CGR-Umgebungen kann eine Person nur Audioobjekte wahrnehmen und/oder mit ihnen interagieren.
  • Beispiele für CGR schließen virtuelle Realität und gemischte Realität ein.
  • Eine Virtual-Reality-Umgebung (VR-Umgebung) bezieht sich auf eine simulierte Umgebung, die so ausgelegt ist, dass sie vollständig auf computergenerierten sensorischen Eingaben für einen oder mehrere Sinne basiert. Eine VR-Umgebung umfasst eine Vielzahl von virtuellen Objekten, mit denen eine Person interagieren und/oder die sie wahrnehmen kann. Beispielsweise sind computergenerierte Bilder von Bäumen, Gebäuden und Avatars, die Menschen darstellen, Beispiele virtueller Objekte. Eine Person kann virtuelle Objekte in der VR-Umgebung durch eine Simulation der Anwesenheit der Person in der computergenerierten Umgebung und/oder durch eine Simulation einer Teilmenge der physischen Bewegungen der Person in der computergenerierten Umgebung wahrnehmen und/oder mit ihnen interagieren.
  • Im Gegensatz zu einer VR-Umgebung, die vollständig auf computergenerierten sensorischen Eingaben basiert, bezieht sich eine Mixed-Reality-Umgebung (MR-Umgebung) auf eine simulierte Umgebung, die dazu ausgelegt ist, sensorische Eingaben von der physischen Umgebung oder eine Darstellung davon zusätzlich zu computergenerierten sensorischen Eingaben (z. B. virtuellen Objekten) aufzunehmen. Auf einem Virtualitätskontinuum befindet sich eine Mixed-Reality-Umgebung irgendwo zwischen einer vollständig physischen Umgebung an einem Ende und einer Virtual-Reality-Umgebung am anderen Ende, ohne diese jedoch einzubeziehen.
  • In manchen MR-Umgebungen können computergenerierte sensorische Eingaben auf Änderungen der sensorischen Eingaben von der physischen Umgebung reagieren. Außerdem können einige elektronische Systeme zur Darstellung einer MR-Umgebung den Standort und/oder die Ausrichtung in Bezug auf die physische Umgebung verfolgen, um es virtuellen Objekten zu ermöglichen, mit realen Objekten zu interagieren (d. h. physische Artikel aus der physischen Umgebung oder deren Darstellungen). Zum Beispiel kann ein System Bewegungen berücksichtigen, sodass ein virtueller Baum in Bezug auf die physische Erde stationär erscheint.
  • Beispiele für gemischte Realitäten schließen erweiterte Realität (augmented reality) und erweiterte Virtualität (augmented virtuality) ein.
  • Eine Augmented-Reality-Umgebung (AR-Umgebung) bezieht sich auf eine simulierte Umgebung, in der ein oder mehrere virtuelle Objekte über eine physische Umgebung oder eine Darstellung davon gelegt werden. Zum Beispiel kann ein elektronisches System zum Präsentieren einer AR-Umgebung eine transparente oder transluzente Anzeige aufweisen, durch die eine Person die physische Umgebung direkt betrachten kann. Das System kann konfiguriert sein, virtuelle Objekte auf der transparenten oder transluzenten Anzeige darzustellen, sodass eine Person unter Verwendung des Systems die virtuellen Objekte wahrnimmt, die über die physische Umgebung gelegt wurden. Alternativ kann ein System eine opake Anzeige und einen oder mehrere bildgebende Sensoren aufweisen, die Bilder oder Video der physischen Umgebung erfassen, die Darstellungen der physischen Umgebung sind. Das System setzt die Bilder oder Videos mit virtuellen Objekten zusammen, und stellt die Zusammensetzung auf der opaken Anzeige dar. Eine Person, die das System verwendet, betrachtet indirekt die physische Umgebung über die Bilder oder das Video der physischen Umgebung und nimmt die virtuellen Objekte wahr, die über die physische Umgebung gelegt wurden. Wie hierin verwendet, wird ein Video der physischen Umgebung, das auf einem opaken Display angezeigt wird, „Pass-Through-Video“ genannt, was bedeutet, dass ein System einen oder mehrere Bildsensoren verwendet, um Bilder der physischen Umgebung aufzunehmen, und diese Bilder verwendet, um die AR-Umgebung auf dem opaken Display darzustellen. Alternativ kann ein System auch ein Projektionssystem aufweisen, das virtuelle Objekte in die physische Umgebung projiziert, z. B. als Hologramm oder auf einer physischen Oberfläche, sodass eine Person, die das System verwendet, die über die physische Umgebung gelegten virtuellen Objekte wahrnimmt.
  • Eine Augmented-Reality-Umgebung bezieht sich auch auf eine simulierte Umgebung, in der eine Darstellung einer physischen Umgebung durch computergenerierte sensorische Informationen transformiert wird. So kann beispielsweise bei der Bereitstellung von Pass-Through-Videos ein System ein oder mehrere Sensorbilder transformieren, um eine ausgewählte Perspektive (z. B. einen Blickwinkel) festzulegen, die sich von der von den Bildsensoren erfassten Perspektive unterscheidet. Als weiteres Beispiel kann eine Darstellung einer physischen Umgebung durch graphisches Modifizieren (z. B. Vergrößern) von Teilen davon transformiert werden, sodass der modifizierte Abschnitt repräsentative aber nicht fotorealistische Versionen der ursprünglich aufgenommenen Bilder sein kann. Als weiteres Beispiel kann eine Darstellung einer physischen Umgebung transformiert werden, indem Teile davon grafisch eliminiert oder verschleiert werden.
  • Eine Augmented-Virtuality-Umgebung (AV-Umgebung) bezieht sich auf eine simulierte Umgebung, in der eine virtuelle oder computergenerierte Umgebung eine oder mehrere sensorische Eingaben aus der physischen Umgebung beinhaltet. Die sensorischen Eingaben können Darstellungen einer oder mehrerer Charakteristiken der physischen Umgebung sein. Ein AV-Park kann beispielsweise virtuelle Bäume und virtuelle Gebäude aufweisen, aber Menschen mit Gesichtern werden fotorealistisch aus Bildern von physischen Menschen reproduziert. Als weiteres Beispiel kann ein virtuelles Objekt eine Form oder Farbe eines physischen Gegenstands annehmen, der durch einen oder mehrere bildgebende Sensoren abgebildet wird. Als weiteres Beispiel kann ein virtuelles Objekt Schatten annehmen, die mit der Position der Sonne in der physischen Umgebung übereinstimmen.
  • Es gibt viele verschiedene Typen von elektronischen Systemen, die es einer Person ermöglichen, verschiedene CGR-Umgebungen wahrzunehmen und/oder mit diesen zu interagieren. Beispiele sind kopfmontierte Systeme, projektionsbasierte Systeme, Heads-Up-Displays (HUDs), Fahrzeugwindschutzscheiben mit integrierter Anzeigefunktion, Fenster mit integrierter Anzeigefunktion, Displays, die als Linsen ausgebildet sind, die dazu bestimmt sind, auf den Augen einer Person platziert zu werden (z. B. ähnlich Kontaktlinsen), Kopfhörer/Ohrhörer, Lautsprecher-Arrays, Eingabesysteme (z. B. am Körper tragbare oder als Handgeräte ausgeführte Controller mit oder ohne haptische Rückmeldung), Smartphones, Tablets und Desktop/Laptop-Computer. Ein kopfmontiertes System kann einen oder mehrere Lautsprecher und eine integrierte opake Anzeige aufweisen. Alternativ kann ein kopfmontiertes System konfiguriert sein, um ein externes opakes Display (z. B. ein Smartphone) aufzunehmen. Das kopfmontierte System kann einen oder mehrere bildgebende Sensoren enthalten, um Bilder oder Video der physischen Umgebung aufzunehmen, und/oder ein oder mehrere Mikrofone, um Audio der physischen Umgebung zu erfassen. Im Gegensatz zu einer opaken Anzeige kann ein kopfmontiertes System eine transparente oder transluzente Anzeige aufweisen. Die transparente oder transluzente Anzeige kann ein Medium aufweisen, durch das Licht, das für Bilder repräsentativ ist, auf die Augen einer Person gerichtet wird. Die Anzeige kann digitale Lichtprojektion, OLEDs, LEDs, uLEDs, Flüssigkristalle auf Silizium, Laserscanning-Lichtquellen oder eine beliebige Kombination dieser Technologien verwenden. Das Medium kann ein Lichtwellenleiter, ein Hologrammmedium, ein optischer Kombinierer, ein optischer Reflektor oder irgendeine Kombination davon sein. In einer Ausführungsform kann die transparente oder transluzente Anzeige konfiguriert sein, um selektiv opak zu werden. Projektionsbasierte Systeme können retinale Projektionstechnologie verwenden, die graphische Bilder auf die Netzhaut einer Person projiziert. Projektionssysteme können auch so konfiguriert sein, dass sie virtuelle Objekte in die physische Umgebung projizieren, beispielsweise als Hologramm oder auf eine physische Oberfläche.
  • Herkömmliche CGR-Systeme können viele visuelle Mitteilungen in einem Ausmaß anzeigen, das Benutzer überlastet.
  • Figurenliste
  • Damit die vorliegende Offenbarung vom Fachmann verstanden werden kann, kann eine detailliertere Beschreibung unter Bezugnahme auf Gesichtspunkte einiger anschaulicher Implementierungen bereitgestellt werden, von denen einige in den beigefügten Zeichnungen gezeigt sind.
    • 1A-1C sind Diagramme einer beispielhaften Betriebsumgebung gemäß einigen Implementierungen.
    • 2 ist ein Blockdiagramm einer beispielhaften Steuerung gemäß einigen Implementierungen.
    • 3 ist ein Blockdiagramm einer beispielhaften kopfmontierten Vorrichtung (HMD: head mounted divice) gemäß einigen Implementierungen.
    • 4A-4T veranschaulichen eine beispielhafte Umgebung computergenerierter Realität (CGR-Umgebung) gemäß einigen Implementierungen.
    • 5 ist ein Flussdiagramm zur Darstellung eines Verfahrens zur Bereitstellung eines kontextuellen CGR-Digitalassistenten gemäß einigen Implementierungen.
  • Gemäß allgemeiner Praxis können die verschiedenen Merkmale, die in den Zeichnungen veranschaulicht sind, nicht maßstabsgetreu gezeichnet sein. Dementsprechend können die Abmessungen der verschiedenen Merkmale aus Gründen der Klarheit beliebig erweitert oder reduziert werden. Zusätzlich können einige der Zeichnungen nicht alle Komponenten eines gegebenen Systems, Verfahrens oder einer gegebenen Vorrichtung darstellen. Schließlich können gleiche Bezugszeichen verwendet werden, um gleiche Merkmale überall in der Beschreibung und den Figuren zu bezeichnen.
  • KURZDARSTELLUNG
  • Verschiedene hier offenbarte Implementierungen schließen Vorrichtungen, Systeme und Verfahren zum Bereitstellen eines kontextuellen Computer-Generated-Reality-(CGR)-Digitalassistenten ein. In verschiedenen Implementierungen wird das Verfahren an einer Vorrichtung durchgeführt, die zum Liefern einer CGR-Szene vorgesehen ist, wobei die Vorrichtung einen oder mehrere Prozessoren, einen nicht-flüchtigen Speicher und eine oder mehrere Anzeigen beinhaltet. Das Verfahren schließt das Erhalten von Bilddaten ein, die ein von einem Bildsensor erfasstes Gesichtsfeld charakterisieren (manchmal als Erhalten von „Pass-Through“-Bilddaten bezeichnet). Das Verfahren schließt ferner das Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten ein. Das Verfahren beinhaltet zusätzlich das Auswählen einer visuellen Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung basierend auf dem Kontext und als Reaktion auf das Identifizieren des kontextuellen Auslösers ausgewählt wird. Das Verfahren beinhaltet auch das Erzeugen der CGR-Szene durch Zusammensetzen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen liefert, die mit dem kontextuellen Auslöser verbunden sind.
  • Gemäß einigen Ausführungsformen weist eine elektronische Vorrichtung einen oder mehrere Prozessoren, einen nicht-flüchtigen Speicher und eines oder mehrere Programme auf; das eine oder die mehreren Programme werden in dem nicht-flüchtigen Speicher gespeichert und so konfiguriert, dass sie von dem einen oder den mehreren Prozessoren ausgeführt werden, und das eine oder die mehreren Programme beinhalten Anweisungen für die Ausführung oder die Veranlassung zum Ausführen jedes der hier beschriebenen Verfahren auf. Gemäß einigen Ausführungsformen sind in einem nicht-flüchtigen computerlesbaren Speichermedium Anweisungen gespeichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung ausgeführt werden, dafür sorgen, dass die Vorrichtung jedes der hier beschriebenen Verfahren durchführt oder deren Ausführung veranlasst. Gemäß einigen Implementierungen beinhaltet die Vorrichtung: einen oder mehrere Prozessoren, einen nicht-flüchtigen Speicher und Mittel zur Durchführung oder Veranlassung der Durchführung eines der hier beschriebenen Verfahren.
  • BESCHREIBUNG
  • Zahlreiche Details werden beschrieben, um ein gründliches Verständnis der in den Zeichnungen gezeigten beispielhaften Implementierungen bereitzustellen. Die Zeichnungen zeigen jedoch lediglich einige beispielhafte Aspekte der vorliegenden Offenbarung und sind daher nicht als einschränkend zu betrachten. Der Fachmann wird erkennen, dass andere effektive Aspekte bzw. Varianten nicht alle der hierin beschriebenen spezifischen Details beinhalten. Außerdem wurden gut bekannte Systeme, Verfahren, Komponenten, Vorrichtungen und Schaltungen nicht in abschließendem Detail beschrieben, um relevantere Aspekte der hier beschriebenen beispielhaften Implementierungen nicht zu verunklaren.
  • Wenn ein Computer-Generated-Reality-(CGR)-System einem Benutzer zu viele Inhalte zur Verfügung stellt, beispielsweise in Bezug auf die Anzahl und Häufigkeit der angezeigten Informationen, kann dieser Inhalt für den Benutzer überwältigend werden. Verschiedene hierin offenbarte Implementierungen verbessern die Erfahrung des Benutzers, indem sie die Aufmerksamkeit des Benutzers subtil auf relevanten computergenerierten Medieninhalt lenken. In Ausführungsformen werden kontextuelle CGR-Digitalassistenten unter geeigneten Kontexten zu einer zusammengesetzten Realitätsszene zusammengefasst und einem Benutzer als Reaktion auf das Bestimmen zur Verfügung gestellt, dass Bilddaten (z. B. Bilddaten für Inhalte, die in der zusammengesetzten Realitätsszene präsentiert und durch diese geleitet werden) einen kontextuellen Auslöser beinhalten. Die kontextuellen digitalen CGR-Assistenten unterstützen somit den Benutzer, Informationen aus der zusammengesetzten Realitätsszene zu erhalten, indem sie die Aufmerksamkeit des Benutzers subtil auf relevanten computergenerierten Medieninhalt lenken. Ferner, da die Darstellungen der kontextuellen CGR-Digitalassistenten davon abhängen, was die Menschen von einer Darstellung erwarten und/oder von dem kulturellen Verständnis dessen, was mit einer bestimmten Darstellung verbunden ist, bietet die Verwendung der kontextuellen CGR-Digitalassistenten zum Lenken der Aufmerksamkeit des Benutzers auf Informationen in der zusammengesetzten Realitätsszene eine natürliche Benutzererfahrung.
  • Zum Beispiel, da die Fähigkeit eines Hundes, schnell zu laufen und Gegenstände zu holen, bekannt ist, kann ein computergenerierter Hund, wenn der Benutzer ein Restaurant (in der echten Welt oder in CGR) bemerkt, als visuelle Darstellung eines kontextabhängigen CGR-Digitalassistenten verwendet werden, um schnell Restaurantinformationen für den Benutzer abzurufen. Weitere Beispiele sind die Anzeige einer computergenerierten Katze, die den Benutzer zu einem interessanten Ort führt, eines computergenerierten Falken, der auf- und davonfliegt, um eine Draufsicht auf ein Gebiet zu ermöglichen, eines computergenerierten Papageis, der Schlüsselinformationen flüstert, eines computergenerierten Kolibris oder eines computergenerierten Schmetterlings, der auf kleine Details hinweist, eines computergenerierten Delfins, der den Weg zu einem Ort führt usw. Die Personifizierung dieser virtuellen Tiere als visuelle Darstellungen von kontextabhängigen CGR-Digitalassistenten ermöglicht es dem Benutzer, Informationen aus der CGR-Umgebung zu erhalten, ohne sich überfordert zu fühlen.
  • Als tierfreies Beispiel stellt in einigen Kulturen das Sternbild des großen Wagens am Himmel Richtungen (z. B. Himmelsrichtungen) bereit. Basierend auf diesen kulturellen Erkenntnissen wird in der CGR-Szene eine computergenerierte Konstellation des großen Wagens als kontextueller CGR-Digitalassistent dargestellt, um eine allgemeine Orientierung zu einem entfernten Ort zu ermöglichen.
  • In einem weiteren tierfreien Beispiel schwebt in einer CGR-Szene ein computergenerierter Heißluftballon oder ein computergenerierter Roboter (z. B. eine computergenerierte Drohne) am Himmel. Als Reaktion auf den Blick eines Benutzers zum Himmel oder eine Kopfbewegung des Benutzers, die auf ein Aufwärtsschauen hindeutet, fliegt der computergenerierte Heißluftballon oder der computergenerierte Roboter näher an den Benutzer heran, um ihm Richtung oder Navigation bereitzustellen. Im Falle eines computergenerierten Roboters am Boden kann der computergenerierte Roboter ein kontextueller CGR-Digitalassistent sein, um durch Hindernisse zu sehen, Informationen von einem kleinen Raum zu holen, Musikaufnahmen zu finden usw. So werden durch die visuellen Darstellungen dieser kontextuellen CGR-Digitalassistenten Informationen subtil an den Benutzer übermittelt, und die zusätzliche Kapazität und/oder Fähigkeit, die Informationen durch diese kontextuellen CGR-Digitalassistenten zu erwerben, befähigt den Benutzer.
  • 1A ist ein Blockdiagramm einer beispielhaften Betriebsarchitektur 100A gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Aspekte der hier offenbarten beispielhaften Implementierungen nicht zu verdecken. Zu diesem Zweck schließt die Betriebsarchitektur 100A, als ein nicht begrenzendes Beispiel, eine elektronische Vorrichtung 104A ein.
  • In einigen Implementierungen ist die elektronische Vorrichtung 104A konfiguriert, um einem Benutzer eine CGR-Erfahrung zu präsentieren. In einigen Ausführungsformen enthält die elektronische Vorrichtung 104A eine geeignete Kombination aus Software, Firmware bzw. Hardware. Gemäß einigen Implementierungen präsentiert die elektronische Vorrichtung 104A dem Benutzer über eine Anzeige 122 ein CGR-Erlebnis, während der Benutzer physisch in einer physischen Umgebung 103 anwesend ist, die einen Tisch 107 in einer Szene 105 im Sichtfeld 111 der elektronischen Vorrichtung 104A einschließt. So hält der/die Benutzer(in) in einigen Implementierungen die elektronische Vorrichtung 104A in seiner/ihrer Hand (seinen/ihren Händen). In einigen Implementierungen ist die elektronische Vorrichtung 104A während der Präsentation der CGR-Erfahrung konfiguriert, um CGR-Inhalte (z. B. einen CGR-Zylinder 109) darzustellen und ein Pass-Through-Video der physischen Umgebung 103 (z. B. einschließlich einer Darstellung des Tisches 107) auf einer Anzeige 122 zu ermöglichen. In einigen Implementierungen ist eine Steuerung 102 über einen oder mehrere drahtgebundene oder drahtlose Kommunikationskanäle 144 (z. B. BLUETOOTH, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x usw.) kommunikativ mit der CGR-Vorrichtung 104A gekoppelt. Die Steuerung 102 wird weiter unten unter Bezugnahme auf 1B beschrieben.
  • 1B ist ein Blockdiagramm einer beispielhaften Umgebung computergenerierter Realität (CGR-Umgebung) 100B gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Aspekte der hier offenbarten beispielhaften Implementierungen nicht zu verdecken.
  • Zu diesem Zweck beinhaltet die CGR-Umgebung 100B als nicht einschränkendes Beispiel eine Steuerung 102 und eine CGR-Vorrichtung (z. B. eine kopfmontierbare Vorrichtung (HMD)) 104B. Im Beispiel von 1B wird die CGR-Vorrichtung 104B von einem Benutzer 10 getragen. In einigen Implementierungen entspricht die CGR-Vorrichtung 104B einer kopfmontierbaren Vorrichtung (HMD), einem Tablet, einem Mobiltelefon, einer tragbaren Computervorrichtung oder dergleichen. In einigen Implementierungen ist die CGR-Vorrichtung 104B konfiguriert, um dem Benutzer 10 eine CGR-Erfahrung zu präsentieren. In einigen Implementierungen enthält die CGR-Vorrichtung 104B eine geeignete Kombination aus Software, Firmware bzw. Hardware.
  • Gemäß einigen Implementierungen präsentiert die CGR-Vorrichtung 104B eine CGR-Erfahrung für den Benutzer 10, während der Benutzer 10 virtuell und/oder physisch innerhalb der Szene 106 anwesend ist. In einigen Implementierungen ist die CGR-Vorrichtung 104B während der Präsentation einer Augmented-Reality-(AR)-Erfahrung konfiguriert, um AR-Inhalte darzustellen und ein Pass-Through-Video der Szene 106 zu ermöglichen (z. B. entspricht die CGR-Vorrichtung 104B einem CGR-fähigen Mobiltelefon oder Tablet). In einigen Implementierungen ist die CGR-Vorrichtung 104B während der Präsentation einer CGR-Erfahrung konfiguriert, um CGR-Inhalte darzustellen und ein optisches Hindurchsehen durch die Szene 106 zu ermöglichen (z. B. entspricht die CGR-Vorrichtung 104B einer CGR-fähigen Brille). In einigen Implementierungen ist die CGR-Vorrichtung 104B während der Präsentation einer CGR-Erfahrung konfiguriert, um CGR-Inhalte darzustellen und optional ein Pass-Through-Video der Szene 106 zu ermöglichen (z. B. entspricht die CGR-Vorrichtung 104B einer CGR-fähigen HMD).
  • In einigen Implementierungen trägt der/die Benutzer(in) 10 die CGR-Vorrichtung 104B auf seinem/ihrem Kopf (z. B. wie in 1 gezeigt). Als solche schließt die CGR-Vorrichtung 104B eine oder mehrere CGR-Anzeigen ein, die zum Anzeigen der CGR-Inhalte vorgesehen ist. Zum Beispiel umschließt die CGR-Vorrichtung 104B das Sichtfeld des Benutzers 10. In einigen Implementierungen wird die CGR-Vorrichtung 104B durch eine CGR-Kammer, ein Gehäuse oder einen Raum ersetzt, die konfiguriert sind, um CGR-Inhalte darzustellen, bei denen der Benutzer 10 die CGR-Vorrichtung 104B nicht trägt. In einigen Implementierungen hält der/die Benutzer(in) 10 die CGR-Vorrichtung 104B in seiner/ihrer Hand (seinen/ihren Händen).
  • In einigen Implementierungen ist die Steuerung 102 konfiguriert, um eine CGR-Erfahrung für einen Benutzer 10 zu verwalten und zu koordinieren. In einigen Implementierungen schließt die Steuerung 102 eine geeignete Kombination aus Software, Firmware und/oder Hardware ein. In einigen Implementierungen ist die Steuerung 102 eine Rechenvorrichtung, die in Bezug auf die Szene 106 lokal oder entfernt ist. Zum Beispiel ist die Steuerung 102 ein lokaler Server innerhalb der Szene 106. In einem anderen Beispiel ist die Steuerung 102 ein entfernter Server außerhalb der Szene 106 (z. B. ein Cloud-Server, zentraler Server usw.). In einigen Implementierungen ist die Steuerung 102 über einen oder mehrere drahtgebundene oder drahtlose Kommunikationskanäle 144 (z. B. BLUETOOTH, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x usw.) kommunikativ mit der CGR-Vorrichtung 104B gekoppelt. In einigen Implementierungen werden die Funktionalitäten der Steuerung 102 durch die CGR-Vorrichtung 104B bereitgestellt und/oder mit dieser kombiniert.
  • Wie in 1B veranschaulicht, stellt die CGR-Vorrichtung 104B eine Szene 106 dar. In einigen Implementierungen wird die Szene 106 von der Steuerung 102 und/oder der CGR-Vorrichtung 104B erzeugt. In einigen Implementierungen schließt die Szene 106 eine computergenerierte Szene ein, die ein simulierter Ersatz einer Szene aus der realen Welt ist. Mit anderen Worten wird in einigen Implementierungen die Szene 106 von der Steuerung 102 und/oder der CGR-Vorrichtung 104B simuliert. In solchen Implementierungen unterscheidet sich die Szene 106 von der Szene der realen Welt, in der sich die CGR-Vorrichtung 104B befindet. In einigen Implementierungen schließt die Szene 106 eine erweiterte Szene ein, die eine modifizierte Version einer Szene der realen Welt ist. Beispielsweise modifizieren (z. B. erweitern) die Steuerung 102 und/oder die CGR-Vorrichtung 104B in einigen Implementierungen die Szene der realen Welt, in der sich die CGR-Vorrichtung 104B befindet, um die Szene 106 zu erzeugen. In einigen Implementierungen erzeugen die Steuerung 102 und/oder die CGR-Vorrichtung 104B die Szene 106 durch Simulieren einer Kopie der Szene der realen Welt, in der sich die CGR-Vorrichtung 104B befindet. In einigen Implementierungen erzeugen die Steuerung 102 und/oder die CGR-Vorrichtung 104B die Szene 106 durch Entfernen und/oder Hinzufügen von Elementen aus der simulierten Kopie der Szene der realen Welt, in der sich die CGR-Vorrichtung 104B befindet.
  • Bezugnehmend auf 1C ist 1C ein Diagramm einer beispielhaften Betriebsumgebung 100C gemäß einigen Implementierungen. Während entsprechende Merkmale gezeigt sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Aspekte der hier offenbarten beispielhaften Implementierungen nicht zu verdecken. Zu diesem Zweck schließt die Betriebsumgebung 100C als ein nicht einschränkendes Beispiel ein Netzwerk 20, eine Rechenvorrichtung 30, eine Szene der realen Welt 40 und eine Vorrichtung 104d ein.
  • In dem Beispiel von 1C schließt die Szene der realen Welt 40 eine Person 10 ein. In verschiedenen Implementierungen erfasst die Vorrichtung 104d einen Satz von Bildern der Szene der realen Welt 40 und überträgt Daten, die die Szene 106 darstellen, über das Netzwerk 20 an die Rechenvorrichtung 30. In einigen Implementierungen schließt die Vorrichtung 104d die Steuerung 102 und eine Kamera 104c ein. In einigen Implementierungen erfasst die Kamera 104c den Satz von Bildern, und die Steuerung 102 erzeugt die Szenendaten 106 basierend auf dem Satz von Bildern. In einigen Implementierungen beinhalten die Szenendaten 106 Körperhaltungsinformationen 108 für die Person 10, die sich in einem Sichtfeld der Kamera 104c befindet.
  • In verschiedenen Implementierungen zeigen die Körperhaltungsinformationen 108 Körperhaltungen der Person 10 an, die sich im Sichtfeld der Kamera 104c befindet. So geben beispielsweise die Körperhaltungsinformationen 108 in einigen Implementierungen gemeinsame Positionen und/oder gemeinsame Orientierungen der Person 10 an (z. B. Positionen/Orientierungen von Schultergelenken, Ellbogengelenken, Handgelenken, Beckengelenken, Kniegelenken und Sprunggelenken). In einigen Implementierungen zeigen die Körperhaltungsinformationen 108 Positionen/Orientierungen verschiedener Körperteile der Person 10 an (z. B. Positionen/Orientierungen von Kopf, Rumpf, Oberarmen, Unterarmen, Ober- und Unterschenkeln).
  • In verschiedenen Implementierungen verbraucht die Übertragung der Körperhaltungsinformationen 108 über das Netzwerk 20 weniger Bandbreite als die Übertragung von Bildern, die von der Kamera 104c aufgenommen wurden. In einigen Implementierungen sind die Netzwerkressourcen begrenzt, und die Vorrichtung 104d hat Zugriff auf eine verfügbare Menge an Bandbreite. In solchen Implementierungen verbraucht die Übertragung der Körperhaltungsinformationen 108 weniger als die verfügbare Menge an Bandbreite, während die Übertragung von Bildern, die von der Kamera 104c aufgenommen wurden, mehr als die verfügbare Menge an Bandbreite verbrauchen kann. In verschiedenen Implementierungen verbessert die Übertragung der Körperhaltungsinformationen 108 (z. B. anstelle der Übertragung von Bildern) die Funktionsfähigkeit des Netzwerks 20, z. B. durch die Nutzung von weniger Netzwerkressourcen (z. B. durch die Nutzung von weniger Bandbreite).
  • In einigen Implementierungen verwendet die Rechenvorrichtung 30 die Körperhaltungsinformationen 108, um einen Avatar der Person 10 darzustellen. In einigen Implementierungen stellt die Rechenvorrichtung 30 beispielsweise die Körperhaltungsinformationen 108 einer Anzeigemaschine (z. B. einer Rendering- und Anzeigepipeline) zur Verfügung, die die Körperhaltungsinformationen 108 verwendet, um den Avatar in einer computergenerierten Szene darzustellen. Da die Rechenvorrichtung 30 die Körperhaltungsinformationen 108 verwendet, um die Avatare darzustellen, ist die Körperhaltung der Avatare in einem gewissen Maße mit der Körperhaltung der Person 10 in der Szene der realen Welt 40 vergleichbar. Somit ist die Betrachtung des Avatars in der computergenerierten Szene in gewissem Maße ähnlich wie die Betrachtung der Bilder der Szene der realen Welt 40.
  • 2 ist ein Blockdiagramm eines Beispiels der Steuerung 102 gemäß einigen Implementierungen. Während bestimmte Merkmale veranschaulicht sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Aspekte der hier offenbarten Implementierungen nicht zu verdecken. Zu diesem Zweck beinhaltet die Steuerung 102, als ein nicht einschränkendes Beispiel, in einigen Implementierungen eine oder mehrere Verarbeitungseinheiten 202 (z. B., Mikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASIC), Field Programmable Gate Arrays (FPGA), grafische Verarbeitungseinheiten (GPU), zentrale Verarbeitungseinheiten (CPU), Verarbeitungskerne, bzw. Ähnliches), eine oder mehrere Eingabe/Ausgabe (E/A)-Vorrichtungen 206, eine oder mehrere Kommunikationsschnittstellen 208 (z. B. einen universellen seriellen Bus (USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802. 11x, IEEE 802.16x, ein globales System für mobile Kommunikation (GSM), Codedivision-Mehrfachzugang (CDMA) Zeitmultiplexzugriff (TDMA), ein globales Positionierungssystem (GPS), Infrarot (IR), BLUETOOTH, ZIGBEE, bzw. Schnittstellen ähnlicher Art), eine oder mehrere Programmierungsschnittstellen (z. B. E/A-Schnittstellen) 210, einen Speicher 220, und einen oder mehrere Kommunikationsbusse 204 zum Verbinden dieser und verschiedener anderer Komponenten.
  • In einigen Implementierungen beinhalten der eine oder die mehreren Kommunikationsbusse 204 Schaltungen, welche die Kommunikationen zwischen Systemkomponenten miteinander verbinden und steuern. Bei einigen Implementierungen beinhalten die eine oder die mehreren E/A-Vorrichtungen 206 zumindest eine Tastatur, eine Maus, ein Touchpad, einen Joystick, ein oder mehrere Mikrofone, einen oder mehrere Lautsprecher, einen oder mehrere Bildsensoren, eine oder mehrere Anzeigen bzw. dergleichen.
  • Der Speicher 220 beinhaltet Hochgeschwindigkeits-Random-Access-Speicher, wie beispielsweise dynamischer Random-Access-Speicher (DRAM), statischer Random-Access-Speicher (SRAM), Double-Data-Rate Random-Access-Speicher (DDR-RAM) oder andere Random-Access-Solid-State-Speichervorrichtungen. In einigen Implementierungen beinhaltet der Speicher 220 wahlweise nichtflüchtigen Speicher, wie zum Beispiel eine oder mehrere Magnetplattenspeicher, optische Plattenspeicher, Flash-Speicher oder andere nichtflüchtige Festkörperspeicher. Der Speicher 220 enthält optional eine oder mehrere Speichervorrichtungen, die entfernt von der einen oder den mehreren Verarbeitungseinheiten 202 angeordnet sind. Der Speicher 220 umfasst ein nicht-flüchtiges computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 220 oder das nichtflüchtige computerlesbare Speichermedium des Speichers 220 die folgenden Programme, Module und Datenstrukturen oder eine Untermenge davon, einschließlich eines optionalen Betriebssystems 230 und eines CGR-Erfahrungsmoduls 240.
  • Das Betriebssystem 230 beinhaltet Verfahren für die Behandlung verschiedener grundlegender Systemdienste und für die Durchführung hardwareabhängiger Aufgaben. In einigen Implementierungen ist das CGR-Erfahrungsmodul 240 konfiguriert, um eine oder mehrere CGR-Erfahrungen für einen oder mehrere Benutzer zu verwalten und zu koordinieren (z. B. eine einzelne CGR-Erfahrung für einen oder mehrere Benutzer oder mehrere CGR-Erfahrungen für jeweilige Gruppen von einem oder mehreren Benutzern). Zu diesem Zweck beinhaltet das CGR-Erfahrungsmodul 240 in verschiedenen Implementierungen eine Datenerfassungseinheit 242, eine Verfolgungseinheit 244, eine Koordinationseinheit 246 und eine Datenübertragungseinheit 248.
  • In einigen Implementierungen ist die Datenerfassungseinheit 242 konfiguriert, um Daten (z. B. Darstellungsdaten, Interaktionsdaten, Sensordaten, Ortsdaten usw.) von zumindest der CGR-Vorrichtung 104 zu erhalten. Zu diesem Zweck beinhaltet die Datenerfassungseinheit 242 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • In einigen Implementierungen ist die Verfolgungseinheit 244 konfiguriert, um die Szene 105 (1A) abzubilden und/oder die Position/Lage mindestens der CGR-Vorrichtung 104 in Bezug auf die Szene 106 zu verfolgen (1B). Zu diesem Zweck beinhaltet die Verfolgungseinheit 244 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • In einigen Implementierungen ist die Koordinationseinheit 246 konfiguriert, um die CGR-Erfahrung zu verwalten und zu koordinieren, die dem Benutzer durch die CGR-Vorrichtung 104 präsentiert wird. Zu diesem Zweck beinhaltet die Koordinationseinheit 246 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • In einigen Implementierungen ist die Datenübertragungseinheit 248 konfiguriert, um Daten (z. B. Darstellungsdaten, Ortsdaten usw.) zumindest zu der CGR-Vorrichtung 104 zu übertragen. Zu diesem Zweck beinhaltet die Datenübertragungseinheit 248 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • Obwohl die Datenerfassungseinheit 242, die Verfolgungseinheit 244, die Koordinationseinheit 246 und die Datenübertragungseinheit 248 als auf einer einzigen Vorrichtung (z. B. der Steuerung 102) befindlich dargestellt werden, ist zu verstehen, dass sich in anderen Implementierungen jede Kombination der Datenerfassungseinheit 242, der Verfolgungseinheit 244, der Koordinationseinheit 246 und der Datenübertragungseinheit 248 in separaten Rechenvorrichtungen befinden kann.
  • Darüber hinaus ist 2 eher als funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sein können, im Gegensatz zu einem strukturellen Schema der hier beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Gegenstände kombiniert und einige Elemente getrennt werden. Beispielsweise könnten einige Funktionsmodule, die separat in 2 gezeigt sind, in einem einzelnen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen umgesetzt werden. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variieren von einer Implementierung zu einer anderen und hängen in einigen Implementierungen teilweise von der speziellen Kombination von Hardware, Software bzw. Firmware ab, die für eine bestimmte Implementierung gewählt wird.
  • 3 ist ein Blockdiagramm eines Beispiels der CGR-Vorrichtung 104 gemäß einigen Implementierungen. Während bestimmte Merkmale veranschaulicht sind, wird der Fachmann aus der vorliegenden Offenbarung erkennen, dass verschiedene andere Merkmale der Kürze halber nicht dargestellt worden sind, um relevantere Aspekte der hier offenbarten Implementierungen nicht zu verdecken. Zu diesem Zweck beinhaltet die CGR-Vorrichtung 104 in einigen Implementierungen als nicht einschränkendes Beispiel eine oder mehrere Verarbeitungseinheiten 302 (z. B. Mikroprozessoren, ASICs, FPGAs, GPUs, CPUs, Rechenkerne und/oder dergleichen), eine oder mehrere Ein-/Ausgabevorrichtungen (E/A) und Sensoren 306, eine oder mehrere Kommunikationsschnittstellen 308 (z. B. USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802. 11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, BLUETOOTH, ZIGBEE und/oder dergleichen Schnittstellenarten), eine oder mehrere Programmierschnittstellen (z. B. E/A) 310, eine oder mehrere CGR-Anzeigen 312, ein oder mehrere innen- und/oder außenliegende Bildsensoren 314, einen Speicher 320 und einen oder mehrere Kommunikationsbusse 304 zur Verbindung dieser und verschiedener anderer Komponenten.
  • In einigen Implementierungen beinhalten der eine oder die mehreren Kommunikationsbusse 304 Schaltungen, welche die Kommunikationen zwischen Systemkomponenten miteinander verbinden und steuern. In einigen Implementierungen beinhalten die eine oder mehreren E/A-Vorrichtungen und Sensoren 306 mindestens eines von einer Trägheitsmesseinheit (IMU: inertial measurement unit), einem Beschleunigungssensor, einem Gyroskop, einem Thermometer, einem oder mehreren physiologischen Sensoren (z. B. Blutdruckmessgerät, Herzfrequenzmessgerät, Blutsauerstoffsensor, Blutzuckersensor usw.), ein oder mehrere Mikrofone 307A, ein oder mehrere Lautsprecher 307B (z. B. Kopfhörer oder Lautsprecher), einen Haptik-Motor, ein oder mehrere Tiefensensoren (z. B. ein strukturiertes Licht, eine Flugzeit oder dergleichen) und/oder dergleichen.
  • In einigen Implementierungen sind die eine oder die mehreren CGR-Anzeigen 312 konfiguriert, um dem Benutzer das CGR-Erlebnis zu ermöglichen. In einigen Implementierungen entsprechen die eine oder die mehreren CGR-Anzeigen 312 einem holografischen Display, DLP-Display (digital light processing), LCD-Display (liquid-crystal display), LCoS-Display (liquid crystal on silicon), OLET-Display (organic light-emitting field-effect transitory), OLED-Display (organic light-emitting diode), SED-Display (surfaceconduction electron-emitter), FED-Display (field-emission display), QD-LED-Display (quantum-dot light-emitting diode), MEMS-Display (micro-electro-mechanical system) und/oder dergleichen Anzeigetypen. In einigen Implementierungen entsprechen die eine oder mehreren CGR-Anzeigen 312 diffraktiven, reflektiven, polarisierten, holographischen Wellenleiteranzeigen und/oder dergleichen. Zum Beispiel beinhaltet die CGR-Vorrichtung 104 eine einzige CGR-Anzeige. In einem weiteren Beispiel beinhaltet die CGR-Vorrichtung 104 eine CGR-Anzeige für jedes Auge des Benutzers. In einigen Implementierungen sind die eine oder mehreren CGR-Anzeigen 312 in der Lage, CGR-Inhalte darzustellen.
  • In einigen Implementierungen sind die einen oder mehreren inneren, äußeren, nach innen gerichteten, nach außen gerichteten, nach vorne und/oder nach hinten gerichteten Bildsensoren 314 konfiguriert, um Bilddaten zu erhalten, die mindestens einem Teil des Gesichts des Benutzers entsprechen, der die Augen des Benutzers beinhaltet (und können als Blickverfolgungskamera bezeichnet werden). In einigen Implementierungen sind die einen oder mehreren inneren, äußeren, nach innen gerichteten, nach außen gerichteten, nach vorne und/oder nach hinten gerichteten Bildsensoren 314 so konfiguriert, dass sie nach vorne (oder nach außen) gerichtet sind, um Bilddaten zu erhalten, die der Szene entsprechen, wie sie der Benutzer sehen würde, wenn die CGR-Vorrichtung 104 nicht vorhanden wäre (und können als nach außen gerichtete Kamera bezeichnet werden). Die einen oder mehreren inneren, äußeren, nach innen gerichteten, nach außen gerichteten, nach vorne und/oder nach hinten gerichteten Bildsensoren 314 können eine oder mehrere RGB-Kameras (z. B. mit einem CMOS-Bildsensor (complimentary metal-oxidesemiconductor - zusätzlicher Metalloxid-Halbleiter) oder einem CCD-Bildsensor (chargecoupled device - ladungsgekoppelte Vorrichtung)), eine oder mehrere Infrarot-(IR)-Kameras, eine oder mehrere ereignisbasierte Kameras und/oder dergleichen beinhalten.
  • Der Speicher 320 schließt Hochgeschwindigkeitsdirektzugriffsspeicher, wie etwa DRAM, SRAM, DDR-RAM oder andere Festkörperspeichervorrichtungen mit wahlfreiem Zugriff, ein. In einigen Implementierungen beinhaltet der Speicher 320 wahlweise nichtflüchtigen Speicher, wie zum Beispiel eine oder mehrere Magnetplattenspeicher, optische Plattenspeicher, Flash-Speicher oder andere nichtflüchtige Festkörperspeicher. Der Speicher 320 enthält optional eine oder mehrere Speichervorrichtungen, die entfernt von der einen oder den mehreren Verarbeitungseinheiten 302 angeordnet sind. Der Speicher 320 umfasst ein nicht-flüchtiges computerlesbares Speichermedium. In einigen Implementierungen speichert der Speicher 320 oder das nicht-flüchtige computerlesbare Speichermedium des Speichers 320 die folgenden Programme, Module und Datenstrukturen oder eine Untermenge davon, einschließlich eines optionalen Betriebssystems 330 und eines CGR-Präsentationsmoduls 340.
  • Das Betriebssystem 330 beinhaltet Verfahren für die Behandlung verschiedener grundlegender Systemdienste und für die Durchführung hardwareabhängiger Aufgaben. In einigen Implementierungen ist das CGR-Präsentationsmodul 340 konfiguriert, um dem Benutzer CGR-Inhalte über die eine oder mehrere CGR-Anzeigen 312 zu präsentieren. Zu diesem Zweck beinhaltet das CGR-Präsentationsmodul 340 in verschiedenen Implementierungen eine Datenerfassungseinheit 342, eine Audio/CGR-Präsentationseinheit 344 und eine Datenübertragungseinheit 346.
  • In einigen Implementierungen ist die Datenerfassungseinheit 342 konfiguriert, um Daten (z. B. Präsentationsdaten, Interaktionsdaten, Sensordaten, Standortdaten usw.) von einer oder mehreren der Steuerung 102 (z. B. über die eine oder mehreren Kommunikationsschnittstellen 308), den einen oder mehreren E/A-Vorrichtungen und Sensoren 306 oder den einen oder mehreren inneren, äußeren, nach innen gerichteten, nach außen gerichteten, nach vorne und/oder nach hinten gerichteten Bildsensoren 314 zu erhalten. Zu diesem Zweck beinhaltet die Datenerfassungseinheit 342 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • In einigen Implementierungen ist die Audio/CGR-Präsentationseinheit 344 konfiguriert, um eine Audio/CGR-Erfahrung über die eine oder die mehreren CGR-Anzeigen 312 (und in verschiedenen Implementierungen den Lautsprecher 307B und/oder das Mikrofon 307A) zu präsentieren. Zu diesem Zweck beinhaltet die Audio/CGR-Präsentationseinheit 344 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • In einigen Implementierungen ist die Datenübertragungseinheit 346 konfiguriert, um Daten (z. B. Darstellungsdaten, Ortsdaten usw.) zumindest zu der Steuerung 102 zu übertragen. Zu diesem Zweck beinhaltet die Datenübertragungseinheit 346 in verschiedenen Implementierungen Anweisungen und/oder Logik dafür sowie Heuristiken und Metadaten dafür.
  • Obwohl die Datenerfassungseinheit 342, die Audio/CGR-Präsentationseinheit 344 und die Datenübertragungseinheit 346 als auf einer einzigen Vorrichtung (z. B. der CGR-Vorrichtung 104) befindlich dargestellt werden, ist zu verstehen, dass sich in anderen Implementierungen jede Kombination der Datenerfassungseinheit 342, der Audio/CGR-Präsentationseinheit 344 und der Datenübertragungseinheit 346 in separaten Rechenvorrichtungen befinden kann.
  • Darüber hinaus ist 3 eher als funktionale Beschreibung der verschiedenen Merkmale gedacht, die in einer bestimmten Implementierung vorhanden sein könnten, im Gegensatz zu einem strukturellen Schema der hier beschriebenen Implementierungen. Wie der Durchschnittsfachmann erkennt, könnten separat gezeigte Gegenstände kombiniert und einige Elemente getrennt werden. Beispielsweise könnten einige Funktionsmodule, die separat in 3 gezeigt sind, in einem einzelnen Modul implementiert sein, und die verschiedenen Funktionen einzelner Funktionsblöcke könnten durch einen oder mehrere Funktionsblöcke in verschiedenen Implementierungen umgesetzt werden. Die tatsächliche Anzahl von Modulen und die Aufteilung bestimmter Funktionen und wie die Merkmale ihnen zugeordnet sind, variieren von einer Implementierung zu einer anderen und hängen in einigen Implementierungen teilweise von der speziellen Kombination von Hardware, Software bzw. Firmware ab, die für eine bestimmte Implementierung gewählt wird.
  • 4A-4T veranschaulichen eine beispielhafte CGR-Umgebung 400 gemäß einigen Implementierungen. In einigen Implementierungen basiert die CGR-Umgebung 400 auf einer realen Umgebung, die von einer nach außen gerichteten Kamera einer Vorrichtung erfasst wird. In verschiedenen Implementierungen ist die nach außen gerichtete Kamera Teil einer Vorrichtung, die vom Benutzer getragen wird, und beinhaltet eine Anzeige, die die CGR-Umgebung 400 anzeigt. Somit ist der Benutzer in verschiedenen Implementierungen physisch in der CGR-Umgebung 400 anwesend. In verschiedenen Implementierungen ist die nach außen gerichtete Kamera Teil einer entfernten Vorrichtung (z. B. einer Drohne oder eines Roboters), die Bilddaten von der nach außen gerichteten Kamera an eine lokale Vorrichtung überträgt, die vom Benutzer getragen wird und eine Anzeige beinhaltet, die die CGR-Umgebung 400 anzeigt. Somit kann der Benutzer in einigen solcher Implementierungen physisch außerhalb der CGR-Umgebung 400 sein. In einigen Implementierungen, wie vorstehend unter Bezugnahme auf 1C beschrieben, beinhalten die Bilddaten für die Darstellung der CGR-Umgebung 400 einen Avatar, der sich in einem Grad der Ähnlichkeit mit der Körperhaltung einer Person in einer realen Szene befindet. In den 4A-4T, beinhaltet die CGR-Umgebung 400 einen Benutzer 405, der ein Avatar sein kann, der eine Person oder eine reale Person in einer realen Umgebung repräsentiert. Somit kann die in den 4A-4T dargestellte Ansicht beispielsweise eine Ansicht aus der Perspektive eines Dritten sein, die den Benutzer 405 in der CGR-Umgebung 400 betrachtet.
  • In 4A charakterisieren die Bilddaten eine Ansicht einer Straße mit einem Restaurant 401 und einer Straßenbeleuchtung auf einem Bürgersteig. Der Benutzer 405 schaut auf die Ladenfront des Restaurants 401 und zeigt auch auf das Restaurant-Schild auf dem Restaurant 401. Ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten wird im Pass-Through-Bild identifiziert. Wie hierin verwendet, beinhaltet ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten ein oder mehrere Objekte, Informationen (z. B. sichtbar in der CGR-Umgebung 400 oder eingebettet in die CGR-Umgebung 400) und/oder einen Ort, der mit einer verfügbaren Aktion verbunden ist, die vom kontextuellen CGR-Digitalassistenten ausgeführt wird. In 4A können beispielsweise mehrere Faktoren den kontextuellen CGR-Digitalassistenten auslösen, der die Informationen, die mit dem Restaurant verbunden sind, auffinden und wiedergeben kann. Solche Faktoren können einschließen, dass der Benutzer 405 das Restaurant 401 betrachtet, Sprachbefehle des Benutzers 405, um mehr Informationen über das Restaurant 401 zu erhalten, dass der Benutzer 405 auf das Restaurant 401 zeigt, wie in 4A dargestellt, dass er durch die Fenster des Restaurants 401 schaut oder der absolute oder relative Standort des Restaurants 401.
  • In einigen Implementierungen wird ein computergenerierter Hund als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt, der zumindest teilweise auf dem mit der CGR-Umgebung 400 verbundenen Kontext basiert, einschließlich einer kontextuellen Bedeutung, die einem Hund entspricht. Zum Beispiel kann die kontextuelle Bedeutung Tiermerkmale oder Verhaltensweisen eines Hundes beinhalten, wie z. B. die, dass Hunde bekannt dafür sind, Anweisungen zum Aufspüren und/oder Holen von Gegenständen zu befolgen. In einem weiteren Beispiel, basierend auf dem Benutzerprofil, kann die kontextuelle Bedeutung die Erwartung des Benutzers 405 einschließen, dass ein Hund in der Lage ist, Gegenstände zu holen. Sobald der Hund als visuelle Darstellung ausgewählt wurde, wie in 4B dargestellt, wird um das Restaurantschild herum eine Hervorhebung 402 angezeigt, die die unmittelbare Position des kontextuellen Auslösers anzeigt, und ein computergenerierter Hund 404 erscheint in der CGR-Umgebung 400, um den Informationsaufruf zu unterstützen. Die visuelle Darstellung des computergenerierten Hundes 404 wird in die CGR-Umgebung 400 integriert, wie in 4C dargestellt. Der computergenerierte Hund 404 holt die Restaurantinformationen, die in einem computergenerierten Miniatur-Puppenhaus 406 eingekapselt sind. In einigen Implementierungen stellt das computergenerierte Miniatur-Puppenhaus 406 das Restaurant 401 dar, und eine Animation des computergenerierten Hundes 404, der das computergenerierte Miniatur-Puppenhaus 406 zum Benutzer 405 schleppt, wird in der CGR-Umgebung 400 angezeigt. In einigen Implementierungen kann der Benutzer 405 dann durch Fenster des computergenerierten Miniatur-Puppenhauses 406 schauen oder das computergenerierte Miniatur-Puppenhaus 406 öffnen, um die Informationen des Restaurants zu sehen. In einigen Implementierungen verschwindet die Animation des computergenerierten Hundes 404 zusammen mit dem computergenerierten Miniatur-Puppenhaus 406, sobald der Benutzer 405 mit dem Abrufen der Informationen fertig ist. So können beispielsweise die Handlungen des Benutzers, wie das Schließen der Tür des computergenerierten Miniatur-Puppenhauses 406, das Weggehen vom computergenerierten Miniatur-Puppenhaus 406 und/oder das Signal an den computergenerierten Hund 404, dass dieser sich entfernen soll oder die Interaktion mit dem computergenerierten Miniatur-Puppenhaus 406 nach einer gewissen Schwellen-Zeitspanne darauf hindeuten, dass der Benutzer 405 die vom computergenerierten Hund 404 gelieferten Informationen vollständig abgerufen hat. Dementsprechend läuft der computergenerierte Hund 404 dem Benutzer 405 davon und schleppt das computergenerierte Miniatur-Puppenhaus 406 weg.
  • 4D-4H veranschaulichen die Darstellung verschiedener visueller Darstellungen eines kontextuellen CGR-Digitalassistenten, der die Erkundung eines Zeltes 412 in der CGR-Umgebung 400 gemäß einigen Implementierungen erleichtert. In 4D kennzeichnen die Bilddaten einen Campingplatz mit dem Benutzer 405 in einem Abstand vom Zelt 412. Wenn der Benutzer 405 näher an das Zelt 412 herantritt, wird in den Bilddaten ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der die Erkundung des Zeltes 412 unterstützen kann. Der kontextuelle Auslöser kann einschließen, dass der Benutzer 405 auf das Zelt 412 schaut, Sprachbefehle vom Benutzer 405, um das Zelt 412 zu erkunden, dass der Benutzer 405 auf das Zelt 412 zugeht, und/oder die absolute oder relative Position des Zeltes 412.
  • In einigen Implementierungen wird eine computergenerierte Katze 414, wie in den 4E und 4F gezeigt, oder ein computergenerierter Roboter (z. B. eine computergenerierte Drohne am Boden) 416, wie in den 4G und 4H gezeigt, als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt. Die computergenerierte Katze 414 wird beispielsweise zumindest teilweise anhand von Tiermerkmalen ausgewählt, wie z. B. dem kulturellen Verständnis und/oder der Erwartung des Benutzers (z. B. abgeleitet aus einem Benutzerprofil), dass eine Katze eine Person an einen interessanten oder geheimnisvollen Ort führt. In den 4E und 4F führt die computergenerierte Katze 414 den Benutzer 405 näher an das Zelt 412 heran, um das Zelt 412 zu erkunden. In 4G wird der computergenerierte Roboter (oder eine Aktionsfigur) 416 als visuelle Darstellung des visuellen Assistenten ausgewählt, die zumindest teilweise auf dem Kontext des Interesses des Benutzers an der Erkundung des Zeltes 412 basiert, ohne es zu betreten.
  • So zeigt beispielsweise die Tatsache, dass der Benutzer 405 in einem Abstand vom Zelt 412 anhält während die Augen des Benutzers auf das Zelt 412 gerichtet sind, das Interesse des Benutzers an, das Zelt 412 zu erkunden, ohne es zu betreten. In einem anderen Beispiel kann die Reisehistorie des Benutzers 405 anzeigen, dass der Benutzer 405 in dem Bereich neu ist und dass der Benutzer 405 keine nicht vertrauten Bereiche betreten möchte. Ferner kann der Kontext einschließen, dass ein computergenerierter Roboter (z. B. eine computergenerierte Drohne oder eine Aktionsfigur usw.) 416, von dem der Benutzer 405 weiß, dass er über außergewöhnliche Sehfähigkeiten verfügt, durch das Zelt 412 hindurchsehen, ohne dass der Benutzer das Zelt 412 betritt. Wie in 4H dargestellt, zeigt die außergewöhnliche Sehfähigkeit des computergenerierten Roboters 416 eine computergenerierte Katze 418, die im Zelt 412 ruht. In einigen Implementierungen wird der Benutzer 405, sobald der kontextuelle CGR-Digitalassistent in der CGR-Umgebung 400 erscheint, mit den Funktionen des kontextuellen CGR-Digitalassistenten ausgestattet. So kann beispielsweise in 4H der Benutzer 405 das Sichtfeld des computergenerierten Roboters 416 haben, sodass der Benutzer 405 mit der außergewöhnlichen Sicht des computergenerierten Roboters 416 befähigt wird, Informationen im Inneren des Zeltes 412 zu erhalten, ohne es zu betreten.
  • In einigen Implementierungen wird, sobald der Benutzer 405 mit dem Abrufen der Informationen fertig ist, der kontextuelle CGR-Digitalassistent animiert (z. B. verschwindet oder wird nicht mehr angezeigt), um die Szene zu vereinfachen. Beispielsweise können die Handlungen des Benutzers, wie das Weggehen vom Zelt 412, nachdem er es für eine gewisse Zeit angeschaut hat, usw. darauf hindeuten, dass der Benutzer die Erkundung des Zeltes 412 beendet hat und andere Themen in der Umgebung erkunden möchte. Sobald der kontextuelle CGR-Digitalassistent seinen Zweck erfüllt hat, hört die visuelle Darstellung des kontextuellen CGR-Digitalassistenten auf, angezeigt zu werden, z. B. wenn die computergenerierte Katze 414 das Zelt 412 betritt, die computergenerierte Katze 414 verschwindet und/oder der computergenerierte Roboter 416 wegfliegt und/oder weggeht.
  • In einigen Implementierungen hat die visuelle Darstellung des kontextuellen CGR-Digitalassistenten mehrere kontextuelle Bedeutungen, wie beispielsweise mehrere Tiermerkmale, die mit einem Tier verbunden sind. Zum Beispiel, wie oben mit Bezug auf die 4E und 4F erläutert, wird die computergenerierte Katze 414 basierend auf den allgemein bekannten Eigenschaften der Katze ausgewählt, eine Person zu einem interessanten oder mysteriösen Ort zu führen, der es wert ist, erkundet zu werden. Andere Eigenschaften einer Katze schließen ein, dass sie ein Begleiter ist, beruhigend, tröstend usw. Als solche, wie in den 4I-4K gezeigt, wird beispielsweise die computergenerierte Katze 414 als visuelle Darstellung eines Begleiters ausgewählt, der sich an den Benutzer 405 anschmiegen kann.
  • In 41 ruht die computergenerierte Katze 414 zunächst neben einem Sofa 418 in einem Raum, während der Benutzer 405, der eine biometrische Überwachungsvorrichtung 407 trägt, am anderen Ende des Raumes steht. Basierend auf dem Benutzerprofil können beispielsweise Eingaben des Benutzers 405, wie z. B. ein Puls- oder ein Blutdruckmesswert von der biometrischen Überwachungsvorrichtung 407, darauf hinweisen, dass der Benutzer 405 Trost benötigt. In einigen Implementierungen lösen solche biometrischen Messwerte einen kontextuellen CGR-Digitalassistenten aus, um den Benutzer 405 zu trösten. Basierend zumindest teilweise auf den Eigenschaften der Katze, den Benutzer 405 zu trösten, wird die computergenerierte Katze 414 als visuelle Darstellung des kontextuellen CGR-Digitalassistenten gewählt. Wie in 4J dargestellt, geht die computergenerierte Katze 414 auf den Benutzer 405 zu. Wie in 4K dargestellt, dreht sich die computergenerierte Katze 414 um und signalisiert oder lädt den Benutzer 405 auf das Sofa 418 ein (z. B. per Animation), sodass der Benutzer 405 auf dem Sofa 418 ruhen und die computergenerierte Katze 414 zum Trost streicheln kann.
  • 4L-4N veranschaulichen verschiedene visuelle Darstellungen eines kontextuellen CGR-Digitalassistenten, der kleine Details identifiziert und gemäß einigen Implementierungen auf die Details in der CGR-Umgebung 400 aufmerksam macht. In 4L kennzeichnen die Bilddaten den Benutzer 405, der ein Menü 422 hält und liest. Mehrere Faktoren können die Aktivierung eines kontextuellen CGR-Digitalassistenten auslösen, der kleine Details identifizieren kann, wie beispielsweise einen Punkt im Menü 422. Solche Faktoren können unter anderem Eingaben des Benutzers (z. B. der Benutzer 405 betrachtet das Menü 422 in unmittelbarer Nähe) und/oder die Position des Menüs 422 in Bezug auf den Benutzer 405 sein. In einigen Implementierungen kann der Menüpunkt auf dem Menü 422 ein Angebot des Tages sein, das auf dem Kontext des Restaurants basiert, das Lieblingsgericht eines Einheimischen, das auf dem Kontext der lokalen Bewertungen basiert und/oder eine Präferenz des Benutzers, die auf dem Benutzerprofil des Benutzers 405 basiert. Der kontextuelle CGR-Digitalassistent kann somit automatisch in der CGR-Umgebung 400 erscheinen, und sein Erscheinen lenkt die Aufmerksamkeit des Benutzers auf den Punkt im Menü 422, der für den Benutzer 405 von Interesse sein könnte.
  • In einigen Implementierungen wird eine visuelle Darstellung des kontextuellen CGR-Digitalassistenten, der in einen kleinen Raum passen kann, basierend auf dem Kontext des kleinen Raums (z. B. kurze Entfernung zwischen dem Menü 422 und dem Benutzer 405 oder einer Seite des Menüs 422) und/oder kontextuellen Bedeutungen der visuellen Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt. Wie in 4M dargestellt, wird ein computergenerierter Schmetterling 424 als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt, basierend zumindest teilweise auf seinen Eigenschaften, klein und farbenfroh zu sein, die Aufmerksamkeit auf sich zu ziehen, und auf seiner Fähigkeit, auf kleinem Raum zu landen. Der computergenerierte Schmetterling 424 landet neben einem Menüpunkt im Menü 422, um den Benutzer auf einen Menüpunkt entsprechend einiger Implementierungen hinzuweisen.
  • Wie in 4N dargestellt, wird ein computergenerierter Kolibri 426 als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt. Der computergenerierte Kolibri 426 kann mit seinem nadelförmigen Schnabel einen bestimmten Punkt auf dem Menü 422 lokalisieren oder näher zum Benutzer 405 fliegen, um den Menüpunkt dem Benutzer 405 zuzuflüstern. In einigen Implementierungen wird die Audioausgabe, wie beispielsweise das Flüstern, über eine Vielzahl von Lautsprechern bereitgestellt, wobei die Audioausgabe räumlich einer Position entspricht, die dem computergenerierten Kolibri 426 im Sichtfeld zugeordnet ist. Der computergenerierte Kolibri 426 wird zum Beispiel zumindest teilweise aufgrund seiner Eigenschaften klein zu sein, seines zeigerartigen Schnabels und des Summens während des Fluges ausgewählt. In einigen Implementierungen wird, sobald der Benutzer 405 mit dem Auffinden der Informationen fertig ist, z. B. was dadurch angezeigt wird, dass der Benutzer den Punkt im Menü 422 in der Nähe des computergenerierten Schmetterlings 424 oder des computergenerierten Kolibris 426 bestellt oder das Menü 422 weglegt, der computergenerierte Schmetterling 424 oder der computergenerierte Kolibri 426 animiert (z. B. fliegt weg), um die Szene zu vereinfachen.
  • 4O-4Q veranschaulichen verschiedene visuelle Darstellungen eines kontextuellen CGR-Digitalassistenten, um verschiedene Perspektiven (z. B. Draufsicht, Vogelperspektive, 3-D-Sicht oder Luftaufnahme) auf ein Gebiet in der CGR-Umgebung 400 gemäß einigen Implementierungen bereitzustellen. In 4O kennzeichnen die Bilddaten den Benutzer 405, der auf dem Boden steht und auf Gebäude blickt. In einigen Implementierungen zeigen die Körperhaltungen des Benutzers 405, wie z. B. der Blick in den Himmel oder der Blick auf ein weit entferntes Wahrzeichen, dass der Benutzer 405 daran interessiert ist, mehr über die Umgebung oder einen Weg, der zum Wahrzeichen führt, herauszufinden. Als Reaktion auf die Körperhaltungsinformationen in den Bilddaten kann ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten den Benutzer 405 dabei unterstützen, die Umgebung des Benutzers zu erkunden.
  • In einigen Implementierungen wird eine visuelle Darstellung des kontextuellen CGR-Digitalassistenten basierend auf dem Kontext ausgewählt, der mindestens eine kontextuelle Bedeutung der visuellen Darstellung einschließt. Wie in 4P dargestellt, wird ein computergenerierter Falke oder ein computergenerierter Adler 432 mit außergewöhnlichem Sehvermögen, der hoch fliegt, als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt. Wie in 4Q dargestellt, wird eine computergenerierte Drohne (oder ein CGR-Heißluftballon) 434, die in der Luft fliegt und mit computergestütztem Sehen ausgestattet ist, als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt. Ferner haben sich die Perspektiven im CGR-Umfeld 400 von der Bodenansicht in 4O zu einer Draufsicht 436 geändert, wie in den 4P und 4Q gezeigt, mit einer 3D-Darstellung von Gebäuden. In einigen Implementierungen werden dem Benutzer zusätzliche Inhalte der computergenerierten Realität, die mit der neuen Perspektive verbunden sind, wie beispielsweise ein Navigationspfad von einer Position des Benutzers 405 zu einem Wahrzeichen, zur Verfügung gestellt. Die Änderungen in den Perspektiven stimmen mit der Perspektive des Benutzers 405 überein, da der Benutzer 405 mit der außergewöhnlichen Sehfähigkeit des kontextuellen CGR-Digitalassistenten (z. B. des computergenerierten Falken oder des computergenerierten Adlers 432 oder der computergenerierten Drohne 434) ausgestattet ist. Ferner können die veränderten Perspektiven und die zusätzlichen Inhalte der computergenerierten Realität dem Benutzer 405 helfen, die Umgebung zu erkunden. In einigen Implementierungen fliegt der computergenerierte Falke 432 oder die computergenerierte Drohne 434 weg oder fliegt zu einer Ecke der CGR-Szene, sobald der Benutzer 405 mit dem Abrufen der Informationen fertig ist, z. B. was durch einen Blick nach unten oder anderswo hin angezeigt wird oder was durch eine Handbewegung oder einen Sprachbefehl des Benutzers 405 angezeigt wird. In einigen Implementierungen verblasst der Inhalt der computergenerierten Realität (z. B. der markierte Weg zu dem Wahrzeichen), sobald der computergenerierte Falke 432 oder die computergenerierte Drohne 434 wegfliegt.
  • 4R-4T veranschaulichen verschiedene visuelle Darstellungen eines kontextuellen CGR-Digitalassistenten, der eine Navigation in der CGR-Umgebung 400 gemäß einigen Implementierungen bereitstellt. In 4R kennzeichnen die Bilddaten den Benutzer 405, der auf einem Weg 442 zu einem Bahnhof 444 geht. Oben auf dem Bahnhof 444 befindet sich eine Uhr. Die auf der Uhr angezeigte Zeit zeigt an, dass ein Zug, den der Benutzer 405 fahren soll, bald ankommt. In einigen Implementierungen wird im Pass-Through-Bild ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der die Navigation und Führung auf dem Weg 442 zum Bahnhof 444 übernehmen kann. Der kontextuelle Auslöser beinhaltet beispielsweise die Zeit, das Benutzerprofil und die Körperhaltung des Benutzers und/oder den Weg 442, der zum Bahnhof 444 führt usw.
  • Delphine werden oft als zu den intelligentesten Tieren der Erde zugehörig angesehen, die Aktionen wie die Navigation mit dem Magnetfeld der Erde durchführen. Ferner ist es bekannt, dass Delphine mit Menschen interagieren können, da sie in hohem Maße kontaktfreudig mit Menschen sind. Basierend auf diesen Eigenschaften der Delfme, wie in 4S dargestellt, werden die Delfine 446 als visuelle Darstellung des kontextuellen CGR-Digitalassistenten ausgewählt, um die Navigation zu erleichtern und den Benutzer 405 zum Bahnhof 444 zu führen. In 4S wird Wasser als Überlagerung auf dem Weg 442 dargestellt, wobei die Delfine 446 im Wasser schwimmen.
  • Abhängig vom Kontext, einschließlich der mit dem Benutzer 405 verbundenen Kalenderereignisse, wie z. B. Zugfahrplan und aktuelle Uhrzeit, passt sich die Animation der Delfine 446 in einigen Implementierungen dem Kontext an. Wenn beispielsweise der Zugfahrplan und die aktuelle Zeit und/oder der Standort des Benutzers 405 anzeigen, dass der Benutzer 405 möglicherweise zu spät kommt, um den Zug zu erwischen, schwimmen die computergenerierten Delfme 446 schneller, um den Benutzer 405 zum Bahnhof 444 zu führen, um den Zug zu erwischen. Andererseits, wenn der Kontext darauf hindeutet, dass der Benutzer genügend Zeit hat, um den Zug zu erwischen, können die computergenerierten Delfme 446 relativ langsamer zum Bahnhof 444 schwimmen. In einigen Implementierungen wird die visuelle Darstellung des kontextuellen CGR-Digitalassistenten animiert, sodass die visuelle Darstellung interaktiv ist. Wenn beispielsweise, wie in 4T dargestellt, ein anderer Benutzer 405-1 in der CGR-Umgebung 400 erscheint, schwimmt ein computergenerierter Delfm 446-1, der dem Benutzer 405-1 am nächsten ist, um den anderen Benutzer 405-1. Wie hierin dargestellt, kann der Benutzer 405-1 ein anderer Avatar in der CGR-Szene oder eine andere reale Person im Sichtfeld des Benutzers 405 sein. So kann der Benutzer 405 dem Beispiel der computergenerierten Delfme 446 folgend den Weg 442 entlang gehen, ohne auf Hindernisse (z. B. den anderen Benutzer 405-1 oder einen Lichtmast usw.) zu stoßen.
  • In einigen Implementierungen wird der kontextuelle CGR-Digitalassistent zusammen mit Inhalten computergenerierter Realität nicht mehr angezeigt, sobald der kontextuelle CGR-Digitalassistent seinen Zweck erfüllt hat. Wenn sich der Benutzer 405 beispielsweise innerhalb einer Schwellenentfernung vom Bahnhof 444 befindet, benötigt der Benutzer 405 möglicherweise nicht mehr die computergenerierten Delfine 446, um den Weg zu weisen und/oder sein Tempo zu messen, um den Zug zu erreichen. Dementsprechend hören die computergenerierten Delfine 446 zusammen mit dem auf dem Weg als Überlagerung dargestellten Wasser allmählich auf, angezeigt zu werden, z. B. als ob die computergenerierten Delfine 446 davonschwimmen und das Wasser zurücktritt.
  • 5 ist ein Flussdiagramm 500 zur Darstellung eines Verfahrens zur Bereitstellung eines kontextuellen CGR-Digitalassistenten gemäß einigen Implementierungen. In verschiedenen Implementierungen wird das Verfahren 500 durch eine Vorrichtung mit einem oder mehreren Prozessoren, nicht-flüchtigen Speichern und einer oder mehreren Anzeigen durchgeführt. In einigen Implementierungen schließt die Vorrichtung eine am Kopf montierte Vorrichtung, ein Mobiltelefon, ein Tablet und/oder eine Drohne ein. In einigen Implementierungen wird das Verfahren 500 durch Verarbeitungslogik ausgeführt, einschließlich Hardware, Firmware, Software oder einer Kombination davon. In einigen Implementierungen wird das Verfahren 500 von einem Prozessor und/oder einer Steuerung (z. B. der Steuerung 102 in 1) ausgeführt, die Anweisungen (z. B. Code) ausführt, die in einem nicht-flüchtigen computerlesbaren Medium (z. B. einem Speicher) gespeichert sind. Kurz gesagt, unter bestimmten Umständen beinhaltet das Verfahren 500: Erhalten von Bilddaten, die ein von einem Bildsensor erfasstes Sichtfeld kennzeichnen; Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten; als Reaktion auf das Identifizieren des kontextuellen Auslösers, Auswählen einer visuellen Darstellung der einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten; und das Erzeugen einer CGR-Szene durch Zusammensetzen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen liefert, die mit dem kontextuellen Auslöser verbunden sind.
  • Das Verfahren 500 beginnt in Block 502 damit, dass die Vorrichtung Bilddaten, die ein von einem Bildsensor erfasstes Sichtfeld kennzeichnen, erhält. In einigen Implementierungen, wie durch Block 504 dargestellt, beinhaltet das Erhalten der Bilddaten (z. B. Pass-Through-Bilddaten), die das vom Bildsensor aufgenommene Sichtfeld kennzeichnen, das Empfangen der das Sichtfeld kennzeichnenden Bilddaten, die unter Verwendung des Bildsensors auf einer zweiten, von der Vorrichtung verschiedenen Vorrichtung, aufgenommen wurden. Während der Benutzer beispielsweise eine am Kopf befestigte Vorrichtung trägt, befindet sich der Bildsensor auf einer Drohne oder einem Heißluftballon in der Luft, um eine Luftaufnahme der Umgebung zu ermöglichen. In einigen Implementierungen, wie durch Block 506 dargestellt, beinhaltet das Erhalten der Bilddaten, die ein vom Bildsensor erfasstes Sichtfeld kennzeichnen, das Erhalten der Bilddaten, die das vom in die Vorrichtung integrierten Bildsensor aufgenommene Sichtfeld kennzeichnen. So können beispielsweise eine oder mehrere nach außen gerichtete Kameras, die in die am Kopf befestigte Vorrichtung integriert sind, den Blick auf eine Straße aufnehmen.
  • Das Verfahren 500 fährt in Block 508 fort, wobei die Vorrichtung in den Bilddaten einen kontextuellen Auslöser für einen aus einer Vielzahl von kontextuellen CGR-Digitalassistenten identifiziert. Zum Beispiel identifiziert in den 4A-4C die Vorrichtung in den Bilddaten, dass der Benutzer 405 Hilfe beim Zugriff auf Informationen über das Restaurant 401 benötigt. Somit wird ein für einen kontextuellen CGR-Digitalassistenten bestimmter kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten (z. B. den computergenerierten Hund 404) identifiziert, der in der Lage ist, zu schnüffeln und Informationen für den Benutzer 405 zu beschaffen. In den 4D-4H identifiziert die Vorrichtung in den Bilddaten, dass der Benutzer Unterstützung benötigt, um das Zelt 412 zu erkunden. Somit wird ein für einen kontextuellen CGR-Digitalassistenten bestimmter kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten (z. B. die computergenerierte Katze 414) identifiziert, der in der Lage ist, die zur Erkundung des Zeltes 412 notwendigen Aktionen durchzuführen. In einem weiteren, in den 4L-4N gezeigten Beispiel identifiziert die Vorrichtung in den Bilddaten, dass der Benutzer 405 Unterstützung benötigt, um Details im Menü 422 hervorzuheben. Somit wird ein für einen kontextuellen CGR-Digitalassistenten bestimmter kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten (z. B. den computergenerierten Schmetterling 424 oder den computergenerierten Kolibri 426) identifiziert, der auf kleinem Raum Platz findet und den Benutzer auf kleine Details im Menü 422 aufmerksam machen kann. In noch einem weiteren, in den 4P und 4Q gezeigten Beispiel, identifiziert die Vorrichtung in den Bilddaten, dass der Benutzer ein Luftbild der Umgebung erhalten möchte. Somit wird ein für einen kontextuellen CGR-Digitalassistenten bestimmter kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten (z. B. den computergenerierten Adler 432 oder die computergenerierte Drohne 434) identifiziert, der dem Benutzer eine außergewöhnliche Sehfähigkeit ermöglichen kann. In noch einem weiteren, in den 4R-4T gezeigten Beispiel, identifiziert die Vorrichtung in den Bilddaten (z. B. die auf der Uhr des Bahnhofsgebäudes 444 angezeigte Zeit), dass der Benutzer 405 Hilfe bei der Navigation über den Weg 442 zum Bahnhof 444 benötigt. Dementsprechend wird ein für einen kontextuellen CGR-Digitalassistenten bestimmter kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten (z. B. die computergenerierten Delphine 446) identifiziert, der Führung und Navigation zum Bahnhof 444 bereitstellen kann.
  • Unter fortgesetzter Bezugnahme auf 5, wie durch Block 510 dargestellt, wird in einigen Implementierungen der kontextuelle Auslöser für den einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten als Reaktion auf das Empfangen einer Eingabe von einem Benutzer über eine Eingabevorrichtung (z. B. die E/A-Vorrichtungen und Sensoren 306 in 3 und/oder die E/A-Vorrichtungen 206 in 2) identifiziert, die an die Vorrichtung anschließbar oder in sie integriert ist. In einigen Implementierungen ist die Eingabe in den Bilddaten enthalten. In einigen Implementierungen beinhaltet die Eingabevorrichtung unter anderem einen Eyetracker oder einen Blicksensor zur Blickverfolgung, eine Audioeingabevorrichtung (z. B. ein Mikrofon) für Sprachbefehle, eine IMU für Posen und/oder Gesten, eine oder mehrere Kameras mit Bildsensoren zur Aufnahme von Bildern und zur Ableitung von Posen, eine biometrische Überwachungsvorrichtung (z. B. die Vorrichtung 407 in den 4I-4K), eine berührungsempfindliche Oberfläche zur Erkennung von Gesten und/oder GPS zur Ortung.
  • Wenn beispielsweise die Eingabevorrichtung, wie durch Block 512 dargestellt, einen Eyetracker oder einen Blicksensor zum Erfassen und Verfolgen eines Blicks des Benutzers beinhaltet, schließt das Identifizieren des kontextuellen Auslösers in den Bilddaten für den einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten ein: (a) Erfassen des Blickes des Benutzers nahe an einem Objekt in dem Sichtfeld; und (b) Aktivieren des kontextuellen Auslösers, der dem Objekt in den Bilddaten zugeordnet ist. In einem Beispiel wird ein kontextueller Auslöser für die Bereitstellung einer Luftaufnahme mit einem CGR-Heißluftballon verbunden, der an einer Ecke der CGR-Szene schwebt. Wenn der Benutzer den Himmel betrachtet, in dem der CGR-Heißluftballon schwebt, wird aus den Blickinformationen ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert. In einem weiteren, in den 4B und 4C gezeigten Beispiel wird bei Erkennen eines Blicks auf das Restaurant 401 ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, wobei erwartet wird, dass der kontextuelle CGR-Digitalassistent dem Benutzer 405 Restaurantinformationen liefert. In noch einem weiteren, in den 4M und 4N gezeigten Beispiel wird bei Erkennen eines Blicks auf das Menü 422 ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der kleine Details im Menü 422 hervorheben kann.
  • In einigen Implementierungen, wie durch Block 514 dargestellt, wenn die Eingabevorrichtung eine Audioeingabevorrichtung (z. B. ein Mikrofon) beinhaltet, um einen Sprachbefehl vom Benutzer zu erhalten, beinhaltet das Identifizieren des kontextuellen Auslösers für den einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten in den Bilddaten das Aktivieren des kontextuellen Auslösers gemäß dem Sprachbefehl. So wird beispielsweise nach einem Sprachbefehl von „Mehr Informationen über das Restaurant herausfinden“ ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der mehr Informationen über das Restaurant herausfinden kann. In einem weiteren Beispiel wird nach einem Sprachbefehl von „Was gibt es Gutes auf dem Menü“ ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der den Benutzer auf das Angebot des Tages des Küchenchefs auf dem Menü aufmerksam machen kann.
  • In einigen Implementierungen, wie sie durch Block 516 dargestellt werden, wenn die Eingabevorrichtung eine Trägheitsmesseinheit (IMU - inertial measurement unit) beinhaltet, um Körperhaltungen des Benutzers zu erhalten, schließt das Identifizieren des kontextuellen Auslösers für den einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten in den Bilddaten ein, dass dieser aus den Körperhaltungspositionen von Körperteilen (z. B. Kopf, Hals, Arm, Bein, Hand) des Benutzers abgeleitet wird. In einigen Implementierungen, wie sie durch Block 518 dargestellt werden, werden die Körperhaltungen aus Bildern abgeleitet, die von Bildsensoren einer oder mehrerer Kameras erhalten wurden. So kann beispielsweise eine vom Benutzer getragene HMD Frontkameras, Seitenkameras, nach unten gerichtete Kameras usw. beinhalten, um Bilddaten zu erhalten. Mit verschiedenen Kameras, die verschiedene Teile des Benutzers erfassen und verschiedene von diesen Kameras aufgenommene Bilder korrelieren, können Positionen verschiedener Körperteile identifiziert werden. In einigen Implementierungen können die Positionen von Körperteilen auf ein Interesse an einem Thema in den Bilddaten hinweisen. Dementsprechend kann ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten aktiviert werden, der dem Thema in den Bilddaten zugeordnet ist. Wie beispielsweise in 4A dargestellt, zeigt der Benutzer 405 auf das Restaurant 401. Die Körperhaltung des Zeigens zeigt ein Interesse daran, mehr Informationen über das Restaurant 401 herauszufinden. Somit wird, wie in den 4B und 4C gezeigt, ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten aktiviert, der Restaurantinformationen abrufen und an den Benutzer 405 weiterleiten kann. In einem weiteren Beispiel, wie in 4P gezeigt, zeigt die Körperhaltung, wenn der Benutzer in den Himmel blickt, den Wunsch des Benutzers an, eine Luftaufnahme zu erhalten. Damit wird ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten aktiviert, der dem Benutzer eine andere Perspektive auf die Landschaft bieten kann. In noch einem weiteren Beispiel, wenn der Benutzer nach unten schaut, um die Zeit auf seiner Armbanduhr zu überprüfen, kann die Körperhaltung anzeigen, dass der Benutzer Unterstützung benötigt, um sein Tempo zu einem Bahnhof zu verfolgen. Dementsprechend wird ein kontextueller Auslöser für einen kontextuellen CGR-Digitalassistenten identifiziert, der bei der Navigation und Führung zum Bahnhof helfen kann, wie in den 4S und 4T dargestellt.
  • Unter erneuter Bezugnahme auf 5 fährt das Verfahren 500 in Block 520 damit fort, dass die Vorrichtung eine visuelle Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten auswählt, wobei die visuelle Darstellung basierend auf dem Kontext und als Reaktion auf das Identifizieren des kontextuellen Auslösers ausgewählt wird. In einigen Implementierungen beinhaltet der Kontext mindestens ein Element aus einem Profil des Benutzers, einem Kalenderereignis, einem Standort des Benutzers und/oder einer Nutzungshistorie. Ausgehend vom Benutzerprofil ist der Benutzer beispielsweise daran interessiert, die Umgebung zu erkunden, also wird ein computergenerierter Falke (4P), eine computergenerierte Drohne (4Q), ein CGR-Heißluftballon oder das CGR-Sternbild des großen Wagens am Himmel als visuelle Darstellung für einen kontextuellen CGR-Digitalassistenten ausgewählt, der eine Sicht auf das Gebiet von oben ermöglicht.
  • In einigen Implementierungen hat die visuelle Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten mindestens eine kontextuelle Bedeutung. Mit anderen Worten repräsentiert die kontextuelle Bedeutung das, was Menschen von einer CGR-Repräsentation erwarten und/oder ein kulturelles Verständnis dafür, was mit der CGR-Repräsentation verbunden ist. Einige kontextuelle Bedeutungen schließen zum Beispiel die Folgenden ein: das Sternbild des großen Wagens am Nachthimmel stellt Navigation oder Orientierung bereit, der Hund ist ein schneller Läufer und holt Gegenstände, die Katze ist oft distanziert und führt einen zu einem geheimnisvollen Ort, ist neugierig oder leistet beruhigend und tröstend Gesellschaft, die Fähigkeit des Falken, hoch zu fliegen, die Fähigkeit des Delfins zu navigieren und um Hindernisse herum zu schwimmen, die Tatsache, dass Kolibris/Schmetterlinge klein sind, der Papagei, der spricht, der Heißluftballon, der am Himmel schwebt und eine Sicht auf Motive am Boden ermöglicht und/oder die Superkraft des Roboters an für den Menschen schwierige Orte zu gelangen und die Fähigkeit, Informationen über die menschliche Gehirnkapazität hinaus zu erhalten.
  • So wird zum Beispiel, wie in den 4E und 4F gezeigt, basierend auf der Erwartung des Benutzers, dass eine Katze den Benutzer an einen interessanten und erkundenswerten Ort führt, die computergenerierte Katze 414 als visuelle Darstellung für den kontextuellen CGR-Digitalassistenten ausgewählt. In einem weiteren Beispiel wird, wie in den 4G und 4H gezeigt, basierend auf dem Zögern des Benutzers, ein Zelt auf einem Campingplatz zu betreten, um das Innere zu erkunden, ein computergenerierter Roboter 416 mit außergewöhnlicher Sehfähigkeit als visuelle Darstellung für den kontextuellen CGR-Digitalassistenten ausgewählt.
  • Unter erneuter Bezugnahme auf 5 fährt das Verfahren 500 in Block 530 damit fort, dass die Vorrichtung eine CGR-Szene durch Zusammensetzen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten erzeugt, wobei die visuelle Darstellung Informationen liefert, die mit dem kontextuellen Auslöser verbunden sind. In einigen Implementierungen, wie sie durch Block 540 dargestellt sind, beinhaltet das Verfahren 500 ferner das Anzeigen einer oder mehrerer Animationen der visuellen Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten, die die Informationen an einen Benutzer weitergeben, auf der einen oder den mehreren Anzeigen. In einigen Implementierungen wird die Animation der visuellen Darstellung entsprechend dem Kontext angepasst. Zum Beispiel ändert sich die Schwimmgeschwindigkeit der computergenerierten Delphine in Übereinstimmung mit der aktuellen Zeit und dem Zugfahrplan. Gemäß der Bestimmung, dass der Benutzer wenig Zeit hat, können die computergenerierten Delfine schneller schwimmen, um den Benutzer schneller zum Bahnhof zu führen. Ferner schwimmt der computergenerierte Delfm 446-1, basierend auf dem Kontext eines anderen Benutzers 405-1, der ebenfalls auf dem Weg geht, in einem Schwellenabstand vom Benutzer 405-1 um den Benutzer 405-1 herum, wie in 4T gezeigt, sodass der Benutzer 405, der den computergenerierten Delfinen 446 folgt, Hindernisse vermeiden kann.
  • In einigen Implementierungen, wie sie durch Block 542 dargestellt sind, beinhaltet das Verfahren 500 ferner das Bestimmen, dass der Benutzer die Informationen empfangen hat, und das Unterbrechen der Anzeige der Animation der visuellen Darstellung in der CGR-Szene gemäß einigen Implementierungen. Zum Beispiel wird in den 4B und 4C eine Animation des computergenerierten Hundes 404, der das computergenerierte Miniatur-Puppenhaus 406 holt, in die CGR-Szene 400 eingearbeitet und dem Benutzer 405 als Overlay angezeigt. In einigen Implementierungen kann der Benutzer 405 mit der visuellen Darstellung interagieren, wie z. B. dadurch, dass er die Fenster des computergenerierten Miniatur-Puppenhauses 406 öffnet oder durch sie schaut und mehr über das Restaurant 401 erfährt.
  • In einigen Implementierungen verschwindet die visuelle Darstellung des kontextuellen CGR-Digitalassistenten aus der CGR-Umgebung, um die Szene zu vereinfachen, sobald der Benutzer mit dem Betrachten der Restaurant-Informationen fertig ist, als Reaktion auf das Erkennen einer Geste, die das Ende der Betrachtung der Informationen signalisiert, oder nach einer bestimmten Schwellen-Zeitspanne des Anzeigens der Animation der visuellen Darstellung. So wird beispielsweise eine Animation des computergenerierten Falken 432 oder der computergenerierten Drohne 434, die am Himmel fliegt, zusammen mit der sich ändernden Perspektive dargestellt, z. B. eine Draufsicht oder eine Luftaufnahme eines Bereichs mit dem Navigationsweg zu einem Ziel, wie in den 4P und 4Q gezeigt. Sobald der Benutzer 405 das Betrachten der Informationen beendet hat, fliegt der computergenerierte Falke 432 weg und verschwindet aus der CGR-Szene oder die computergenerierte Drohne 434 fliegt in eine Ecke, z. B. nach dem Erkennen einer Handbewegung, die dem computergenerierten Falken 432 oder der computergenerierten Drohne 434 signalisiert, dass sie wegfliegen sollen. Entsprechend werden die Bodenperspektiven wiederhergestellt. In noch einem weiteren Beispiel werden die computergenerierten Delfine 446, die im Wasser schwimmen, als Überlagerung auf dem Weg 442 dargestellt, wie in den 4S und 4T dargestellt. Gemäß einer Bestimmung, dass der Benutzer den Bahnhof 444 betreten hat oder sich in einem Schwellenabstand vom Bahnhof 444 befindet, schwimmen die computergenerierten Delfine 446 davon und das Wasser wird nicht mehr angezeigt.
  • In einigen Implementierungen beinhaltet die Vorrichtung ein oder mehrere Ausgabevorrichtungen, wie beispielsweise einen oder mehrere Lautsprecher. Wie durch Block 550 dargestellt, beinhaltet das Verfahren 500 ferner das Bereitstellen einer Audioausgabe unter Verwendung einer Vielzahl von Lautsprechern, wobei die Audioausgabe räumlich einer Position entspricht, die dem einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten in dem Sichtfeld zugeordnet ist. Zum Beispiel kann in den 4B und 4C ein computergeneriertes Hundegebell eingespielt werden, um die Anwesenheit des CGR-Hundes 404 zu signalisieren und den Benutzer auf den computergenerierten Hund 404 in der Nähe des computergenerierten Miniatur-Puppenhauses 406 hinzuweisen. In einem weiteren Beispiel kann in den 4S und 4T ein spritzendes Geräusch abgespielt werden, um die Anwesenheit der computergenerierten Delfine 446 zu signalisieren und den Benutzer 405 auf dem Weg 442 zu führen. In einigen Implementierungen können die von dem CGR-Digitalassistenten bereitgestellten Informationen dem Benutzer vorgelesen werden, um die Aufmerksamkeit des Benutzers auf einen Ort zu richten. So flüstert beispielsweise der computergenerierte Kolibri 426, wie in 4N dargestellt, einen bevorzugten Menüpunkt und das Flüstern lenkt die Aufmerksamkeit des Benutzers auf den Punkt im Menü 422.
  • Während verschiedene Aspekte von Implementierungen innerhalb des Schutzumfangs der beigefügten Ansprüche oben beschrieben sind, sollte es offensichtlich sein, dass die verschiedenen Merkmale von oben beschriebenen Implementierungen in einer breiten Vielfalt von Formen verkörpert werden können und dass jede spezifische Struktur bzw. Funktion, die oben beschrieben ist, lediglich veranschaulichend ist. Basierend auf der vorliegenden Offenbarung sollte ein Fachmann erkennen, dass ein hier beschriebener Aspekt unabhängig von beliebigen anderen Aspekten implementiert werden kann und dass zwei oder mehr dieser Aspekte auf verschiedene Weisen kombiniert werden können. Beispielsweise kann eine Vorrichtung implementiert werden bzw. ein Verfahren kann unter Verwendung einer beliebigen Anzahl der hier dargelegten Aspekte praktiziert werden. Zusätzlich kann eine solche Vorrichtung implementiert werden bzw. ein solches Verfahren kann unter zusätzlicher Verwendung einer anderen Struktur bzw. Funktion oder einem anderen als dem einen oder den mehreren der hier beschriebenen Aspekte ausgeführt werden.
  • Es versteht sich auch, dass, wenngleich die Begriffe „erste(r)“, „zweite(r)“ usw. hier verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe eingeschränkt werden. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erster Knoten als ein zweiter Knoten bezeichnet werden, und ähnlich könnte ein zweiter Knoten als erster Knoten bezeichnet werden, ohne die Bedeutung der Beschreibung zu ändern, solange jedes Vorkommen des „ersten Knotens“ konsequent umbenannt wird und jedes Vorkommen des „zweiten Knotens“ konsequent umbenannt wird. Bei dem ersten Knoten und dem zweiten Knoten handelt es sich bei beiden um Knoten, es handelt sich jedoch nicht um denselben Knoten.
  • Die hierin verwendete Terminologie dient lediglich dem Zweck des Beschreibens spezieller Ausführungsformen und soll nicht die Ansprüche beschränken. Wie in der Beschreibung der Ausführungsformen und den beiliegenden Ansprüche verwendet, sollen die Singularformen „ein“, „eine“, „der“, „die“ und „das“ auch die Pluralformen einschließen, sofern es im Kontext nicht eindeutig anders angegeben ist. Es versteht sich auch, dass der Begriff „und/oder“, so wie er hier verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden, aufgeführten Begriffe bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, das Vorhandensein von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder das Hinzufügen von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
  • Wie hier verwendet, kann der Begriff „wenn“ als „wenn“ oder „bei“ oder „infolge des Bestimmens“ oder „gemäß einer Bestimmung“ oder „infolge des Erkennens“, dass eine genannte vorausgehende Bedingung erfüllt ist, abhängig vom Kontext, verstanden werden. Ähnlich kann die Wendung „wenn bestimmt wird, [dass eine genannte vorausgehende Bedingung erfüllt ist]“ oder „falls [eine genannte vorausgehende Bedingung erfüllt ist]“ oder „wenn [eine genannte vorausgehende Bedingung erfüllt ist]“ als „bei Bestimmung“ oder „bei einer Bestimmung, dass“ oder „gemäß einer Bestimmung“ oder „beim Erkennen“ oder „infolge des Erkennens“ so interpretiert werden, dass eine genannte vorausgehende Bedingung erfüllt ist, abhängig vom Kontext.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62735291 [0001]

Claims (20)

  1. Verfahren, umfassend: an einer Vorrichtung, die einen oder mehrere Prozessoren, nicht-flüchtige Speicher und eine oder mehrere Anzeigen einschließt: Erhalten von Bilddaten, die ein Sichtfeld kennzeichnen, das unter Verwendung eines Bildsensors erfasst wird; Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen Computer-Generated-Reality-(CGR)-Digitalassistenten; als Reaktion auf das Identifizieren des kontextuellen Auslösers, Auswählen einer visuellen Darstellung der einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten basierend auf einem Kontext; und Präsentieren einer CGR-Szene durch Anzeigen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen bereitstellt, die mit dem kontextuellen Auslöser verbunden sind.
  2. Verfahren nach Anspruch 1, wobei das Erhalten der Bilddaten, die das vom Bildsensor aufgenommene Sichtfeld kennzeichnen, das Empfangen der das Sichtfeld kennzeichnenden Bilddaten beinhaltet, die unter Verwendung des Bildsensors auf einer zweiten, von der Vorrichtung verschiedenen Vorrichtung, aufgenommen wurden.
  3. Verfahren nach Anspruch 1, wobei das Erhalten der Bilddaten, die das unter Verwendung des Bildsensors aufgenommene Sichtfeld kennzeichnen, das Erhalten der Bilddaten einschließt, die das vom in die Vorrichtung integrierten Bildsensor aufgenommene Sichtfeld kennzeichnen.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der kontextuelle Auslöser für den einen von der Vielzahl von kontextuellen CGR-Digitalassistenten als Reaktion auf das Empfangen einer Eingabe von einem Benutzer durch eine Eingabevorrichtung identifiziert wird, die mit der Vorrichtung verbunden oder in diese integriert ist.
  5. Verfahren nach Anspruch 4, wobei: die Eingabevorrichtung einen Blicksensor einschließt, der konfiguriert ist, um den Blick der Augen zu erfassen; und das Identifizieren des kontextuellen Auslösers in den Bilddaten für den einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten einschließt: Erfassen des Blickes des Benutzers nahe an einem Objekt in dem Sichtfeld; und Aktivieren des kontextuellen Auslösers, der dem Objekt zugeordnet ist.
  6. Verfahren nach Anspruch 4, wobei: die Eingabevorrichtung eine Audioeingabevorrichtung einschließt; und das Identifizieren des kontextuellen Auslösers für den einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten in den Bilddaten das Aktivieren des kontextuellen Auslösers gemäß der über die Audioeingabevorrichtung empfangenen Eingabe einschließt.
  7. Verfahren nach Anspruch 4, wobei: die Eingabevorrichtung eine Trägheitsmesseinheit (IMU inertial measurement unit) einschließt, um Körperhaltungen des Benutzers zu erhalten; und das Identifizieren des kontextuellen Auslösers in den Bilddaten für den einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten einschließt: Ableiten von Positionen von Körperteilen aus den Körperhaltungen des Benutzers, wobei die Positionen von Körperteilen ein Interesse an einem Thema in den Bilddaten anzeigen; und Aktivieren des kontextuellen Auslösers, der dem Thema in den Bilddaten zugeordnet ist.
  8. Verfahren nach Anspruch 4, wobei: die Eingabevorrichtung eine oder mehrere Kameras einschließt, die mit einer HMD assoziiert sind, die von dem Benutzer getragen wird, um das Gesichtsfeld zu erhalten, das dem Benutzer zugeordnet ist; und das Identifizieren des kontextuellen Auslösers in den Bilddaten für den einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten einschließt: Erzeugen von Stellungsinformationen für den Benutzer basierend auf dem Sichtfeld; Ableiten von Positionen von Körperteilen aus den Stellungsinformationen des Benutzers, wobei die Positionen von Körperteilen ein Interesse an einem Thema in den Bilddaten anzeigen; und Aktivieren des kontextuellen Auslösers, der dem Thema in den Bilddaten zugeordnet ist.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei die visuelle Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten mindestens eine kontextuelle Bedeutung hat.
  10. Verfahren nach einem der Ansprüche 1 bis 9, wobei der Kontext mindestens eines von einem Kalenderereignis, das einem Benutzer zugeordnet ist, oder einem Ort der Vorrichtung einschließt.
  11. Verfahren nach einem der Ansprüche 1 bis 10, ferner umfassend das Anzeigen einer Animation der visuellen Darstellung des einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten, die einem Benutzer die Informationen bereitstellen, auf der einen oder den mehreren Anzeigen, einschließlich des Anpassens der Animation gemäß dem Kontext.
  12. Verfahren nach Anspruch 11, ferner umfassend: Bestimmen, dass der Benutzer die Information empfangen hat; und Unterlassen des Anzeigens mindestens eines Elements von der Animation oder der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten in der CGR-Szene.
  13. Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend das Bereitstellen einer Audioausgabe unter Verwendung einer Vielzahl von Lautsprechern, wobei die Audioausgabe räumlich einer Position entspricht, die dem einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten in dem Sichtfeld zugeordnet ist.
  14. Verfahren nach einem der Ansprüche 1 bis 13, wobei die Vorrichtung mindestens eines von einer am Kopf montierten Vorrichtung, einem Mobiltelefon, einem Tablet oder einer Drohne einschließt.
  15. Vorrichtung umfassend: eine oder mehrere Anzeigen; nicht-flüchtigen Speicher; und einen oder mehrere Prozessoren zum: Erhalten von Bilddaten, die ein von einem Bildsensor erfasstes Sichtfeld kennzeichnen; Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten; als Reaktion auf das Identifizieren des kontextuellen Auslösers, Auswählen einer visuellen Darstellung der einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten; und Präsentieren einer CGR-Szene durch Anzeigen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen bereitstellt, die mit dem kontextuellen Auslöser verbunden sind.
  16. Vorrichtung nach Anspruch 15, wobei das Erhalten der Bilddaten, die das vom Bildsensor aufgenommene Sichtfeld kennzeichnen, das Empfangen der das Sichtfeld kennzeichnenden Bilddaten beinhaltet, die unter Verwendung des Bildsensors auf einer zweiten, von der Vorrichtung verschiedenen Vorrichtung, aufgenommen wurden.
  17. Vorrichtung nach Anspruch 15, wobei das Erhalten der Bilddaten, die das unter Verwendung des Bildsensors aufgenommene Sichtfeld kennzeichnen, das Erhalten der Bilddaten einschließt, die das vom in die Vorrichtung integrierten Bildsensor aufgenommene Sichtfeld kennzeichnen.
  18. Nicht-flüchtiger Speicher, der ein oder mehrere Programme speichert, die, wenn sie von einem oder mehreren Prozessoren einer Vorrichtung mit einer oder mehreren Anzeigen ausgeführt werden, bewirken, dass die Vorrichtung Operationen ausführt, umfassend: Erhalten von Bilddaten, die ein von einem Bildsensor erfasstes Sichtfeld kennzeichnen; Identifizieren eines kontextuellen Auslösers in den Bilddaten für einen von einer Vielzahl von kontextuellen CGR-Digitalassistenten; als Reaktion auf das Identifizieren des kontextuellen Auslösers, Auswählen einer visuellen Darstellung der einen aus der Vielzahl von kontextuellen CGR-Digitalassistenten; und Präsentieren einer CGR-Szene durch Anzeigen der visuellen Darstellung des einen aus der Vielzahl der kontextuellen CGR-Digitalassistenten, wobei die visuelle Darstellung Informationen bereitstellt, die mit dem kontextuellen Auslöser verbunden sind.
  19. Nicht-flüchtiger Speicher nach Anspruch 18, wobei das Erhalten der Bilddaten, die das vom Bildsensor aufgenommene Sichtfeld kennzeichnen, das Empfangen der das Sichtfeld kennzeichnenden Bilddaten beinhaltet, die unter Verwendung des Bildsensors auf einer zweiten, von der Vorrichtung verschiedenen Vorrichtung, aufgenommen wurden.
  20. Nicht-flüchtiger Speicher nach Anspruch 18, wobei das Erhalten der Bilddaten, die das unter Verwendung des Bildsensors aufgenommene Sichtfeld kennzeichnen, das Erhalten der Bilddaten einschließt, die das vom in die Vorrichtung integrierten Bildsensor aufgenommene Sichtfeld kennzeichnen.
DE102019125623.2A 2018-09-24 2019-09-24 Kontextuelle computer-generated-reallity-(cgr)-digitalassistenten Pending DE102019125623A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862735291P 2018-09-24 2018-09-24
US62/735,291 2018-09-24

Publications (2)

Publication Number Publication Date
DE102019125623A1 true DE102019125623A1 (de) 2020-03-26
DE102019125623A8 DE102019125623A8 (de) 2021-04-15

Family

ID=69725178

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019125623.2A Pending DE102019125623A1 (de) 2018-09-24 2019-09-24 Kontextuelle computer-generated-reallity-(cgr)-digitalassistenten

Country Status (3)

Country Link
US (2) US11403821B2 (de)
CN (1) CN110942518B (de)
DE (1) DE102019125623A1 (de)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (de) 2015-02-26 2018-10-03 Nokia Technologies OY Vorrichtung für augennahe Anzeige
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (de) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatische lichtauskopplungsvorrichtung, augennahe anzeige damit und verfahren zur polychromatischen lichtauskopplung
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
EP3438606A1 (de) * 2017-08-04 2019-02-06 Essilor International Verfahren zur bestimmung eines optischen systems sowie durch dieses verfahren bestimmte ophthalmische linsen und filter
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
EP3827224B1 (de) 2018-07-24 2023-09-06 Magic Leap, Inc. Temperaturabhängige kalibrierung von bewegungsdetektionseinrichtungen
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
WO2020163603A1 (en) 2019-02-06 2020-08-13 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11182972B2 (en) * 2019-02-12 2021-11-23 Qualcomm Incorporated Virtual teleportation in fixed environments
CN113544766A (zh) 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
KR20190104931A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 시설 안내 로봇 및 이를 이용한 시설 안내 방법
US11321927B1 (en) * 2019-09-23 2022-05-03 Apple Inc. Temporal segmentation
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment
US20210358188A1 (en) * 2020-05-13 2021-11-18 Nvidia Corporation Conversational ai platform with rendered graphical output
WO2022060555A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Merging computer-generated objects based on extremity tracking data
CN113378917B (zh) * 2021-06-09 2023-06-09 深圳龙岗智能视听研究院 一种基于自注意力机制的事件相机目标识别的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1123571A (en) * 1965-08-18 1968-08-14 Ass Elect Ind Improvements relating to automatic telecommunication systems
US6952215B1 (en) * 1999-03-31 2005-10-04 International Business Machines Corporation Method and system for graphics rendering using captured graphics hardware instructions
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
CN115167675A (zh) * 2011-09-19 2022-10-11 视力移动技术有限公司 增强现实设备
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
CN103823553B (zh) * 2013-12-18 2017-08-25 微软技术许可有限责任公司 对表面背后的场景的增强现实显示
US9514748B2 (en) * 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
US9987554B2 (en) * 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US10915161B2 (en) * 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
WO2016190458A1 (ko) * 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10380140B2 (en) * 2015-11-30 2019-08-13 Tableau Software, Inc. Systems and methods for implementing a virtual machine for interactive visual analysis
US10632369B2 (en) * 2016-06-03 2020-04-28 International Business Machines Corporation Method to adjust avatar attributes using fitness metrics
US10572005B2 (en) * 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
US10452133B2 (en) * 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US10712814B2 (en) * 2017-04-21 2020-07-14 Accenture Global Solutions Limited Multi-device virtual reality, augmented reality and mixed reality analytics

Also Published As

Publication number Publication date
US11403821B2 (en) 2022-08-02
CN110942518A (zh) 2020-03-31
DE102019125623A8 (de) 2021-04-15
CN110942518B (zh) 2024-03-29
US20230045634A1 (en) 2023-02-09
US11798242B2 (en) 2023-10-24
US20200098188A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
DE102019125623A1 (de) Kontextuelle computer-generated-reallity-(cgr)-digitalassistenten
JP7246352B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US20200233681A1 (en) Computer-generated reality platform
DE102020110662A1 (de) Simultane positionsbestimmung und kartenerstellung (slam) für mehrere benutzer
DE102020116144A1 (de) Virtuelle inhalte, positioniert basierend auf detektiertem objekt
DE102018103572A1 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE112021001301T5 (de) Dialogorientierte-ki-plattform mit gerenderter graphischer ausgabe
DE112017005753T5 (de) Standortglobus in virtueller realität
DE102019218787A1 (de) Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten
DE112019002353T5 (de) Techniken zum umschalten zwischen immersionsebenen
DE102022110363A1 (de) Verfahren und vorrichtung zur debugging-programmausführung und inhaltswiedergabe
DE112020000725T5 (de) Objektpositionierung und bewegung in dreidimensionalem inhalt
US20210027164A1 (en) Objective-effectuators in synthesized reality settings
DE102020101675A1 (de) Manipulation von virtuellen objekten mittels eines verfolgten physischen objekts
DE112020002063T5 (de) Generieren einer semantischen Konstruktion einer physischen Umgebung
DE112020000573T5 (de) Anzeigen von darstellungen von umgebungen
DE102022107945A1 (de) Lokalisierungsgenauigkeitsreaktion
DE112021002752T5 (de) Erfassung und Wiedergabe von räumlichem Video
DE102023204789A1 (de) Verfahren und vorrichtung für abgestufte haltungswahrnehmung
DE112022001416T5 (de) Dreidimensionale programmierumgebung
DE112021003266T5 (de) Visuelle inhaltspräsentation mit betrachterpositionsbasiertem audio
DE102023206172A1 (de) Positionieren von inhalt innerhalb von 3d-umgebungen

Legal Events

Date Code Title Description
R012 Request for examination validly filed